Omnitone – Open Source Spatial Audio Renderer

Dabei handelt es sich um einen Spatial-Audio-Renderer, der verschiedene technische Layer der Verarbeitung von Spatial Audio abstrahiert. So kann Spatial Audio in den Browser übertragen und dieser in einen kompletten VR-Media-Player verwandelt werden – und das dank Cross-Browser-Support sogar über verschiedene Browser hinweg.

Gleichzeitig wird Sound-Field-Rotation auf den eingehenden Spatial-Audio-Stream angewandt, wodurch sich ein Gefühl von „Raum“ vermitteln lässt, wenn der Sound über Kopfhörer gehört wird. Die daraus entstehende Rotation des Sound-Felds kann direkt mit den Sensoren des Mobile Devices sowie der On-Screen-User-Interaktion verknüpft werden, sodass sich der Sound an der Position des Devices orientiert und so für ein intensiveres immersives Audio-Erlebnis sorgt. Auf der Projektseite verdeutlicht eine Demo, wie genau sich das anhört.

Im Google-Open-Source-Blog haben Hongchan Choi und Raymond Toy vom Google-Team das Projekt außerdem näher vorgestellt.

Omnitone: das steckt dahinter

Spatial Audio ist für eine immersive Virtual-Reality-Experience eines der Schlüsselelemente. Die größte Herausforderung bei der Entwicklung der JavaScript-Library war die Implementierung der Audio-Spatializations-Technik Ambisonics in den Browser. Damit User einen kompletten Surround-Sound im Browser erleben können, wurde auf Web-Technologien zurückgegriffen und Ambisonic-Decoding über binaurales Rendering mithilfe des Web Audio APIs in Chrome implementiert.

Der Vorteil liegt dabei auf der Hand: Das Web Audio API funktioniert als Cross-Browser-Technologie nicht nur über verschiedene Browser hinweg, sondern trägt auch dazu bei, dass nicht erst ein langer Standardisierungsprozess zur Einführung einer neuen Web-Audio-Komponente durchlaufen werden muss. Zudem bringt das API bereits alle benötigten Bestandteile für die Technik der Audio-„Verraumlichung“ mit sich.

Die folgende Grafik veranschaulicht, wie 3D-Audio mit Omnitone verarbeitet wird:

Audio-Verarbeitungsprozess in Omnitone, Quelle: Google

Als Input-Audio kann entweder ein Media-Element wie Video- oder Audio-Tags oder eine Multichannel-Web-Audio-Quelle genutzt werden. Das AmbiX-Format-Recording umfasst vier verschiedene Audio-Kanäle, die mit Ambisonics verschlüsselt und in einem passenden Speaker-Setup wieder entschlüsselt werden. Omnitone nutzt zum binauralen Rendern des Audio Streams dabei acht virtuelle Speaker, die auf der „head-related transfer function“ (HRTF) basieren.

Doing More with Less: Building Machine Learning Solutions without large labeled Datasets

mit Jesus Rodriguez (Invector Labs)

Case Studies: Machine Learning in Web Applications

mit Athan Reines (Quansight)

Deep Learning mit TensorFlow 2

mit Jakob Karalus (Deloitte)

Alles selber lesen war gestern – wie man mit Machine Learning große Textmengen in Erkenntnisse verwandelt

mit Stephanie Fischer und Dr. Christian Winkler (datanizing)

So geht die Entwicklung weiter

Vor allem für die Entwicklung von webbasiertem Virtual-Reality-Content könnte Omnitone in der Zukunft eine wichtige Rolle spielen. Das zumindest erklärt das Entwickler-Team im oben genannten Blogpost, denn gerade für das Web entwickelte VR-Applikationen dürften von High-Quality Spatial Audio Streams profitieren.

Die Entwicklung der JavaScript-Library steht allerdings noch relativ am Anfang; es gibt etwa noch keinen Mobile-Web-Support. Dieser steht bereits ganz auf der Prioritätsliste für die weitere Entwicklung – genauso wie die Integration von VR View und Higher-Order-Ambisonics.

Mehr Informationen zu Omnitone bietet die Projekt-Website; dort steht neben der bereits angesprochenen Demo auch eine ausführliche Dokumentation mit Tipps zur Installation und Nutzung der Library zur Verfügung.

Name	Omnitone
Hersteller	Google
Projektwebsite	http://googlechrome.github.io/omnitone/#home
GitHub	https://github.com/GoogleChrome/omnitone#omnitone-spatial-audio-on-the-web