Tumblr-Toolchain Jetpants skaliert gigantische MySQL-Datenbanken
Kommentare

Der Microblogging-Dienst Tumblr hat mit 60 Milliarden Zeilen und 21 Terabyte einmaliger Daten die womöglich größte MySQL-Datenbank der Welt. Um mit 200 dezidierten Datenbank-Servern auch in Zukunft

Der Microblogging-Dienst Tumblr hat mit 60 Milliarden Zeilen und 21 Terabyte einmaliger Daten die womöglich größte MySQL-Datenbank der Welt. Um mit 200 dezidierten Datenbank-Servern auch in Zukunft noch die Übersicht zu behalten, verwendet Tumblr seine Toolchain Jetpants, die jetzt auf GitHub zur freien Verfügung steht.

Jetpants ist ein Automations-Toolkit, das übergroße MySQL-Datenbank-Topologien verwaltet. Es kann Slaves klonen, Shards rebalancen und Master aufweiten (Master Promotion). Das Tool lässt sich komplett aus der Kommandozeile bedienen, alternativ wird auch eine Bibliothek angeboten – leider nur für Ruby.

Jetpants erkennt, wann eine MySQL-Datenbank an ihre Leistungsgrenzen stößt, und erstellt automatisch Shards, ohne die Zugriffe zu blockieren oder Daten-Inkonsistenz zu erzeugen. Das Sharding lässt sich dynamisch resizen und verzichtet dabei auf einen zentralen Lookup-Service oder auf Voradressierung kleiner Shards.

Für nachträgliche Änderungen und Erweiterungen haben die Tumblr-Entwickler Jetpants mit einem Plug-in-System versehen. Jetpants steht unter Apache Lizenz 2.0 auf GitHub zum Download zur Verfügung.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -