Verteilter, unveränderlicher Object Store ist quelloffen

LinkedIn stellt Ambry Open Source
Kommentare

Medieninhalte sind im Web allgegenwärtig und auch bei LinkedIn setzt man auf Medieninteraktion: Profilbilder, E-Mail-Anhänge, Logos und Influencer-Posts sind nur einige Beispiele dafür, wie verschiedene Medientypen verarbeitet und dem Nutzer präsentiert werden. Da diese Inhalte auch immer mehr Speicherplatz benötigen, musste eine effiziente Lösung dafür her – Ambry war geboren. Nun steht der verteilte, unveränderliche Object Store Open Source zur Verfügung.

Das soziale Netzwerk LinkedIn hatte im ersten Quartal 2016 weltweit 433 Millionen Mitglieder. Dass dabei einiges an Traffic und benötigtem Speicher für etwa Medieninhalte zusammenkommt, dürfte klar sein. Die Daten werden dabei im Backend gespeichert und in erster Linie über Content Delivery Networks ausgeliefert.

Mit steigendem Traffic bekam LinkedIns bisheriges Speichersystem Probleme mit der Skalierbarkeit, der Verfügbarkeit und generellen Funktionsfähigkeit. 2014 wurde dann der Object Store Ambry entwickelt, der seitdem für signifikante Verbesserungen bei Latenz und Netzwerk-Effizienz sorgt.

Media content has become critical for any website to increase user engagement, virality and monetization. Media pipelines will need to be supported by more companies, especially with the advancement of video and virtual reality. Ambry can play a critical role in this future, and in the future of any company that is interested in diverse kinds of media to a global audience.

Ambry – Object Store goes Open Source

Bei Ambry handelt es sich um einen hochskalierbaren, verteilten und unveränderlichen Object Store. Ambry ist darauf optimiert, unveränderliche Objekte von wenigen KB bis hin zu mehreren GB mit hohem Durchsatz und geringer Latenz bereitzustellen. Zudem ermöglicht der Object Store End-to-End-Streaming von den Clients zu den Object Tiers und umgekehrt.

„By keeping metadata like the identify of an uploader together with the media content it describes“, kann Ambry Billionen von nutzergenerierten Daten speichern. Auf diese Weise wird eine Fragmentierung – wie sie beispielsweise in herkömmlichen NoSQL-Datenbanken vorkommt – vermieden. So wird die Komplexität verringert und gleichzeitig die benötigte Processing-Power extrem reduziert.

Aufgrund dieser Voraussetzungen kann Ambry auch bei einer so großen Implementation wie LinkedIn schnelle Antworten liefern. Gleichzeitig ist der Object Store in der Lage, ein hohes Level an Verfügbarkeit zu verwalten: Laut LinkedIn wurde Ambry mit dem Ziel entwickelt, monatlich eine Uptime von mindestens 99,5 Prozent zu erreichen. Das reduziert die monatliche Downtime auf rund 20 Minuten. Diese Ausfallsicherheit verdankt Ambry einem aktiv-aktiv Replication-Service, der auf jedem Node läuft und die Daten konstant mit dem Rest der Umgebung synchronisiert. So kann trotz eines Ausfalls eines Laufwerks oder Servers die Arbeit ganz normal weiterlaufen.

Ambry Medien-Infrastruktur, Quelle: https://engineering.linkedin.com/blog/2016/05/introducing-and-open-sourcing-ambry---linkedins-new-distributed-

Ambry Medien-Infrastruktur, Quelle: https://engineering.linkedin.com/blog/2016/05/introducing-and-open-sourcing-ambry—linkedins-new-distributed-

Da Ambry die ganze Logistik übernimmt, muss sich das restliche System nur darum sorgen, wie schnell Nutzer an ihre Informationen herankommen wollen. Bilder können über ein standardmäßiges REST API abgerufen oder für bessere Performance direkt in Byte-Form gestreamet werden. Letzteres ist aufgrund einer speziellen Library möglich, die LinkedIn in Zukunft noch weiter beschleunigen möchte, indem parallele Anfragen ermöglicht werden.

Auch wenn nicht allzu viele Unternehmen mit so vielen Medieninhalten wie LinkedIn umgehen müssen, kann Ambry doch in verschiedensten Use Cases nützlich sein: So kann etwa ein Online-Händler sein System deployen, um Produktbilder zu verwalten oder ein Publishing-Portal kann Ambry verwenden, um in Artikeln verwendete Bilder und Videos zu speichern.

Der Object Store Ambry steht ab sofort auf GitHub quelloffen zum Download zur Verfügung; dort findet sich auch die zugehörige Dokumentation.

Aufmacherbild: rvlsoft / Shutterstock.com

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -