KI für die Ohren

Facebook Demucs Project: Neue KI zur fortschrittlichen Trennung von Tonspuren
Keine Kommentare

Facebooks neue KI verspricht Großes: Die Technologie soll gemischte Audio-Quellen in ihre Bestandteile zerlegen und sie so isolieren können. Damit wird Demucs auch für Anwendungsbereiche wie der Sprachsteuerung oder Noise-Cancelling-Technologien interessant.

Facebook Research hat sein neues KI-Projekt Demucs vorgestellt. Ziel der Deep-Learning-Technologie ist es, gemischte Audiodateien zu analysieren, einzelne Komponenten zu isolieren und ihnen spezifische Quellen zuzuordnen.

In der Praxis könnte Demucs dafür eingesetzt werden, die Stereo-Aufnahme eines Musikstückes so zu entschlüsseln, dass automatisch der Gesang, der Bass oder das Schlagzeug als eigene Muster erkannt und definiert werden können. Dies ist bis jetzt mit den Metadaten des Multitracks kein Problem – handelt es sich bei der Aufnahme jedoch um gemischte Daten, wie etwa einer MP3-Datei, stoßen Technologien bis jetzt an ihre Grenzen. Und hier setzt Demucs an.

Demucs: Music Source Seperation

Hinter dem Projekt steht federführend Alexandres Defossez, der als Teil des Teams von Facebook AI am France’s National Institute for Research in Computer Science and Automation (INRIA) an der neuen Technologie forscht. Im Kern sucht Demucs innerhalb der Daten nach komplexen Mustern, die es einem Instrument, einer Stimme, oder einer anderen Quelle zuordnen kann. Bis jetzt handelt es sich um ein reines Forschungsprojekt – aber diverse Anwendungsbereiche könnten einen echten Mehrwert daraus ziehen. Von Musikschülern über verbesserte KI-Sprachassistenten bis hin zu Hörgeräten und Noise-Cancelling-Kopfhörern.

Nach Defossez ist ein angestrebtes Ziel, die einzelnen Komponenten einer Audio-Datei genau so separieren zu können, wie es die heutige Technologie bereits im Bereich Bilder leisten kann.

Facebook Demucs

Quelle: https://github.com/facebookresearch/demucs

Demucs sucht und analysiert Audio-Muster in den Schallwellen. Für die Extrahierung dieser wird ein U-Net-artiges, konvolutionales Netzwerk genutzt, welches Mel Spectograms als Image Input verwendet.

Alle Informationen zu Facebooks neuer KI Demucs finden sich auf GitHub und der offiziellen Webseite.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu:
X
- Gib Deinen Standort ein -
- or -