Dabei handelt es sich um einen Spatial-Audio-Renderer, der verschiedene technische Layer der Verarbeitung von Spatial Audio abstrahiert. So kann Spatial Audio in den Browser übertragen und dieser in einen kompletten VR-Media-Player verwandelt werden – und das dank Cross-Browser-Support sogar über verschiedene Browser hinweg.

Gleichzeitig wird Sound-Field-Rotation auf den eingehenden Spatial-Audio-Stream angewandt, wodurch sich ein Gefühl von „Raum“ vermitteln lässt, wenn der Sound über Kopfhörer gehört wird. Die daraus entstehende Rotation des Sound-Felds kann direkt mit den Sensoren des Mobile Devices sowie der On-Screen-User-Interaktion verknüpft werden, sodass sich der Sound an der Position des Devices orientiert und so für ein intensiveres immersives Audio-Erlebnis sorgt. Auf der Projektseite verdeutlicht eine Demo, wie genau sich das anhört.

Im Google-Open-Source-Blog haben Hongchan Choi und Raymond Toy vom Google-Team das Projekt außerdem näher vorgestellt.

Omnitone: das steckt dahinter

Spatial Audio ist für eine immersive Virtual-Reality-Experience eines der Schlüsselelemente. Die größte Herausforderung bei der Entwicklung der JavaScript-Library war die Implementierung der Audio-Spatializations-Technik Ambisonics in den Browser. Damit User einen kompletten Surround-Sound im Browser erleben können, wurde auf Web-Technologien zurückgegriffen und Ambisonic-Decoding über binaurales Rendering mithilfe des Web Audio APIs in Chrome implementiert.

Der Vorteil liegt dabei auf der Hand: Das Web Audio API funktioniert als Cross-Browser-Technologie nicht nur über verschiedene Browser hinweg, sondern trägt auch dazu bei, dass nicht erst ein langer Standardisierungsprozess zur Einführung einer neuen Web-Audio-Komponente durchlaufen werden muss. Zudem bringt das API bereits alle benötigten Bestandteile für die Technik der Audio-„Verraumlichung“ mit sich.

Die folgende Grafik veranschaulicht, wie 3D-Audio mit Omnitone verarbeitet wird:

Audio-Verarbeitungsprozess in Omnitone, Quelle: Google

Als Input-Audio kann entweder ein Media-Element wie Video- oder Audio-Tags oder eine Multichannel-Web-Audio-Quelle genutzt werden. Das AmbiX-Format-Recording umfasst vier verschiedene Audio-Kanäle, die mit Ambisonics verschlüsselt und in einem passenden Speaker-Setup wieder entschlüsselt werden. Omnitone nutzt zum binauralen Rendern des Audio Streams dabei acht virtuelle Speaker, die auf der „head-related transfer function“ (HRTF) basieren.

Architekturtipps & Best Practices für gelungene API-Integration

mit Thilo Frotscher (Freiberufler)

Web Application & API Security Bootcamp: OWASP Top 10 und darüber hinaus

mit Christian Wenz (Arrabiata Solutions)

So geht die Entwicklung weiter

Vor allem für die Entwicklung von webbasiertem Virtual-Reality-Content könnte Omnitone in der Zukunft eine wichtige Rolle spielen. Das zumindest erklärt das Entwickler-Team im oben genannten Blogpost, denn gerade für das Web entwickelte VR-Applikationen dürften von High-Quality Spatial Audio Streams profitieren.

Die Entwicklung der JavaScript-Library steht allerdings noch relativ am Anfang; es gibt etwa noch keinen Mobile-Web-Support. Dieser steht bereits ganz auf der Prioritätsliste für die weitere Entwicklung – genauso wie die Integration von VR View und Higher-Order-Ambisonics.

Mehr Informationen zu Omnitone bietet die Projekt-Website; dort steht neben der bereits angesprochenen Demo auch eine ausführliche Dokumentation mit Tipps zur Installation und Nutzung der Library zur Verfügung.