Dabei handelt es sich um einen Spatial-Audio-Renderer, der verschiedene technische Layer der Verarbeitung von Spatial Audio abstrahiert. So kann Spatial Audio in den Browser übertragen und dieser in einen kompletten VR-Media-Player verwandelt werden – und das dank Cross-Browser-Support sogar über verschiedene Browser hinweg.

Gleichzeitig wird Sound-Field-Rotation auf den eingehenden Spatial-Audio-Stream angewandt, wodurch sich ein Gefühl von „Raum“ vermitteln lässt, wenn der Sound über Kopfhörer gehört wird. Die daraus entstehende Rotation des Sound-Felds kann direkt mit den Sensoren des Mobile Devices sowie der On-Screen-User-Interaktion verknüpft werden, sodass sich der Sound an der Position des Devices orientiert und so für ein intensiveres immersives Audio-Erlebnis sorgt. Auf der Projektseite verdeutlicht eine Demo, wie genau sich das anhört.

Im Google-Open-Source-Blog haben Hongchan Choi und Raymond Toy vom Google-Team das Projekt außerdem näher vorgestellt.

Omnitone: das steckt dahinter

Spatial Audio ist für eine immersive Virtual-Reality-Experience eines der Schlüsselelemente. Die größte Herausforderung bei der Entwicklung der JavaScript-Library war die Implementierung der Audio-Spatializations-Technik Ambisonics in den Browser. Damit User einen kompletten Surround-Sound im Browser erleben können, wurde auf Web-Technologien zurückgegriffen und Ambisonic-Decoding über binaurales Rendering mithilfe des Web Audio APIs in Chrome implementiert.

Der Vorteil liegt dabei auf der Hand: Das Web Audio API funktioniert als Cross-Browser-Technologie nicht nur über verschiedene Browser hinweg, sondern trägt auch dazu bei, dass nicht erst ein langer Standardisierungsprozess zur Einführung einer neuen Web-Audio-Komponente durchlaufen werden muss. Zudem bringt das API bereits alle benötigten Bestandteile für die Technik der Audio-„Verraumlichung“ mit sich.

Die folgende Grafik veranschaulicht, wie 3D-Audio mit Omnitone verarbeitet wird:

Audio-Verarbeitungsprozess in Omnitone, Quelle: Google

Als Input-Audio kann entweder ein Media-Element wie Video- oder Audio-Tags oder eine Multichannel-Web-Audio-Quelle genutzt werden. Das AmbiX-Format-Recording umfasst vier verschiedene Audio-Kanäle, die mit Ambisonics verschlüsselt und in einem passenden Speaker-Setup wieder entschlüsselt werden. Omnitone nutzt zum binauralen Rendern des Audio Streams dabei acht virtuelle Speaker, die auf der „head-related transfer function“ (HRTF) basieren.

Workshop: Machine Learning 101++ using Python

mit Dr. Pieter Buteneers (Chatlayer.ai)

Honey Bee Conservation using Deep Learning

mit Thiago da Silva Alves, Jean Metz (JArchitects)

So geht die Entwicklung weiter

Vor allem für die Entwicklung von webbasiertem Virtual-Reality-Content könnte Omnitone in der Zukunft eine wichtige Rolle spielen. Das zumindest erklärt das Entwickler-Team im oben genannten Blogpost, denn gerade für das Web entwickelte VR-Applikationen dürften von High-Quality Spatial Audio Streams profitieren.

Die Entwicklung der JavaScript-Library steht allerdings noch relativ am Anfang; es gibt etwa noch keinen Mobile-Web-Support. Dieser steht bereits ganz auf der Prioritätsliste für die weitere Entwicklung – genauso wie die Integration von VR View und Higher-Order-Ambisonics.

Mehr Informationen zu Omnitone bietet die Projekt-Website; dort steht neben der bereits angesprochenen Demo auch eine ausführliche Dokumentation mit Tipps zur Installation und Nutzung der Library zur Verfügung.