Konferenz-Bericht

Ceph Day – ein Tag im Zeichen des Open Source Cluster-Speichers
Kommentare

Am Donnerstag den 27. Februar fand in den Räumen des Dell Solution Center im Main-Center in Frankfurt am Main der erste deutsche Ceph-Day statt.

Ceph ist ein Cluster-Speichersystem, das Speicherplatz als Objekt-, Block- und Datei-Speicher in hochskalierbarer und hochverfügbarer Form bietet. Der Speicher ist über diverse APIs wie z.B. Amazon S3 (Simple Storage Service), OpenStack Swift-Protokoll, als virtuelle Festplatten (block devices) oder als POSIX-konformes Dateisystem (CephFS) ansprechbar. Für die effektive und gleichmäßige Verteilung der Daten im Cluster sorgt ein Algorithmus namens CRUSH (Controlled Replication Under Scalable Hashing). 

Inktank Inc., die Firma hinter dieser populären Open-Source Cluster-Speichertechnologie, organisiert in regelmäßigen Abständen in Europa und den USA ganztägige Veranstaltungen. Der Ceph Day in Frankfurt war laut Aussage von Inktanks Director of Community Patrick McGarry der bisher größte seiner Art, das angestrebte Ziel von 150 Teilnehmern wurde sogar noch deutlich überschritten.

Das Themenspektrum des Ceph Days umfasste Status- und Erfahrungsberichte über das Ceph-Projekt und seine Community, eine Übersicht über die letzten technologischen Verbesserungen, Ausblicke auf die zukünftige Entwicklung der Ceph-Technologie sowie die Einblicke in die Zukunftspläne der Firma Inktank für das Jahr 2014.

Das Vormittagsprogramm wurde eingeleitet durch eine kurze Begrüßung durch Steve Starbuck, Regional Director bei Inktank, der im Anschluß daran das Wort an Sage Weil, Ceph-Erfinder und Gründer der Firma Inktank übergab. 

Weil begann seinen Vortrag mit einem Rückblick auf die Historie von Ceph und wie aus seiner Forschungsarbeit im Laufe einiger Jahre ein sehr erfolgreiches Open-Source Projekt entstanden ist. Diesen Verlauf machte er an einigen Meilensteinen fest, wie z.B. die Fertigstellung diverser Systemkomponenten oder die Gründung der Firma Inktank, die sich um die Belange der zahlungswilligen Anwender kümmert. 

Das Geschäftsmodell von Inktank wurde stark von anderen erfolgreichen Open-Source Firmen wie Red Hat, MySQL, Cloudera oder Canonical inspiriert. Dabei wurde jedoch von Anfang an besonders Wert darauf gelegt, das Ceph-Projekt und die kommerziellen Interessen von Inktank strikt voneinander zu trennen.

Linux-Support & besseres Cluster-Management 

Inktank will seinen Schwerpunkt in diesem Jahr besonders auf die Verbesserung der Qualität und der Akzeptanz von Ceph bei Firmenkunden legen, unter anderem durch eine Verbreiterung der unterstützten (Linux-)Plattformen und der Verbesserung des Cluster-Managements (z.B. durch bessere Unterstützung von „Rolling Upgrades“).

Auch die Entwickler-Community ist laut Weil in den vergangenen Jahren sehr stark gewachsen; mittlerweile wird ein nicht unerheblicher Teil der Entwicklung von Programmierern vorangetrieben, die bei Partner-Firmen fest angestellt wird und teilweise sogar an den wöchentlichen Stand-Up-Meetings der Inktank-Entwickler teilnehmen.

Die Koordination der Entwicklung und Projektplanung findet im Rahmen des regelmäßig stattfindenden Developer Summit statt. Hierbei handelt es sich um eine rein virtuelle, für alle Interessierten offen stehende Veranstaltung, die mit Hilfe von Google Hangouts, YouTube Live-Streams, IRC und weiteren Kollaborationswerkzeugen realisiert wird. Im Verlauf von zwei Tagen diskutieren die Ceph-Entwickler unter anderem die Planung anstehender Releases sowie der damit verbundenen Features und Fehlerbehebungen. Auch größe strukturelle Anpassungen der Code-Basis sowie administrative Aspekte des Projekts werden in diesem Rahmen besprochen. Laut Sage Weil sind die Developer Summits auch sehr gute Gelegenheiten, neue Mitarbeiter im Entwickler-Team mit der offenen Entwicklungsphilosophie eines Open-Source Projektes vertraut zu machen.

Ceph Best Practices

Nach einer kurzen Frage-/Antwortrunde ging es danach mit dem Vortrag „Ceph Best Practices“ von Dieter Kaspar (CTO Data Center Infrastructure and Services, Fujitsu) weiter. Kaspar gab zuerst einen Überblick über die in „klassischen“ Speichertechnologien verwendeten Techniken und erläuterte dann die einzelnen Komponenten eines Ceph-Clusters und deren Funktion. Hier zog er eine Parallele zum Tierreich, indem er das Verhalten von Fisch- und Vogelschwärmen bei Gefahr mit der Selbstorganisation eines Ceph-Cluster im Fehlerfall verglich. Kaspar hatte im August 2013 umfangreiche Tests mit Ceph auf 8 Servern in verschiedenen System-Konfigurationen durchgeführt und präsentierte eine Auswertung seiner mit dem Benchmark-Tool „fio“ gewonnenen Erkenntnisse. Unter anderem variierte er bei diesen Tests die verwendete Speicher-Blockgröße (64kB oder 4MB), unterschiedliche Netzwerk-Technologien (z.B. 10/40GB-Ethernet oder InfiniBand) sowie diverse Speicher-Technologien wie SAS-Platten, SSDs oder SATA-Platten. Besonders aufschlussreich war, dass schreibende Zugriffe meist nur halb so schnell wie lesende Zugriffe durchgeführt werden konnten (unabhängig von der verwendeten Speichertechnologie) und dass das FUSE-basierte Dateisystem zum damaligen Zeitpunkt aus Performance-Aspekten nicht benutzbar war. Diese Einschränkungen wurden in der Zwischenzeit behoben, so dass die FUSE-basierte Version heutzutage auf ca. 90 Prozent der Leistung der Kernel-internen Variante kommt. Als große Herausforderung für Ceph auf der Business-Seite sieht Kaspar insbesondere die Fragestellung, wie bestehende Infrastruktur wie z.B. SANs durch Ceph ersetzt werden kann. Die Mehrheit der Kunden setzt noch auf VMware oder Xen/Hyper-V, es werden noch schlagkräftige Argumente und Lösungen gesucht, wie Ceph in diesen Szenarien eine attraktive Alternative darstellen könnte.

Q&A and Roundtable, Ceph Day in Frankfurt

Ceph Community

Nach diesem eher technisch orientierten Vortrag übernahm Patrick McGarry von Inktank das Mikrofon, um einige Highlights und Aktivitäten in der Community vorzustellen. So stellt Inktank dieses Jahr acht Mentoren für den jährlich statt findenden „Google Summer of Code“. Interessierte Studenten können sich ab dem 10. März bewerben. Weiterhin wurden das Ceph-Projektwiki sowie die Dokumentation überarbeitet die beschreibt, wie man als Entwickler zum Projekt beitragen kann. Auch das bevor stehende Ceph Summit wurde nochmal etwas detaillierter beschrieben. Laut McGarry wird überlegt, diese virtuelle Veranstaltung auf 3 Tage auszudehnen, um die wachsende Menge an Themen adäquat adressieren zu können und auch Teilnehmern in anderen Zeitzonen mehr Möglichkeit zu bieten, sich aktiv zu beteiligen.

Ein weiteres Kernthema mit dem Inktank sich im Moment beschäftigt ist ein Universitätsprogramm, um Studenten früh mit der Technologie vertraut zu machen. Hierbei sollen primär auch europäische Forschungseinrichtungen angesprochen werden. Große Fortschritte hat auch das Projekt gemacht, den Ceph-Code und die dazu gehörigen Rechte an eine unabhängige Stiftung zu übertragen, im Moment ist man auf der Suche nach weiteren Gründungsmitgliedern.

Ceph Vortragsreihen

Im Anschluß an die Mittagspause mit viel Zeit zum Austausch unter Gleichgesinnten verteilte sich das Vortragsprogramm auf zwei parallel laufende Vortragsreihen. In diesen berichteten Inktank-Partner und -Kunden sowie Anwender von ihren Erfahrungen mit Ceph und verwandten Technologien.

Unter anderem gab Martin Loschwitz von Hastexo! einen Überblick über das OpenStack-Projekt und dessen Komponenten, mit denen sich komplexe Cloud-Infrastrukturen auf Open-Source Basis realisieren lassen. Loschwitz zeigte anschließend wie es möglich ist, Ceph als Alternative zu den herkömmlichen Speichertechnologien hinter den Komponenten „Glance“ (Speicherung von Betriebsystem-Images), „Cinder“ (Bereitstellung von Block-Speichergeräten für virtuelle Maschinen) und „Swift“ (Object Store) verwenden läßt. Für all diese Komponenten existieren bereits „back-ends“, die die Verwendung von Ceph’s RDB (Block Storage) und dem RADOS-Gateway (Objekt-Speicher) unterstützen. Loschwitz wies weiterhin darauf hin, dass parallel zum Linux-Tag der OpenStack DACH Day am 9. Mai in Berlin stattfinden wird. Unter anderem wird es dort einen Vortrag geben, in dem Ceph und Gluster gegenüber gestellt werden.

Paul Brook und Michael Holzerland von Dell gaben einen Überblick über die Aktivitäten von Dell im Ceph-Umfeld. Unter anderem haben sie einen Ceph-Cluster aus mehreren Dell-Servern zusammen gestellt und ihre Beobachtungen und Best Practices vorgestellt. Die dabei gewonnenen Erkenntnisse sollen auch noch in der Form eines Research-Papers veröffentlicht werden. Anschließend stellten sie das von Dell initiierte Open-Source Project „Crowbar“ vor, mit dem sich über eine Web-Oberfläche oder der Kommandozeile mittels PXE-Boot und Chef ein voll automatisches Bare-Metal-Deployment von Servern realisieren läßt. Die Konfiguration des Servers wird in sogenannten „Barclamps“ vorgenommen, die in Form eines Chef-Rezept die genaue Funktion des Servers beschreiben. Unter vielen anderen gibt es auch Barclamps zur Installation eines OpenStack- oder Ceph-Clusters.

Ceph Day 2014-02-27, Frankfurt

Andreas Jaeger von SUSE stellte im Anschluß das Produkt SUSE Cloud 3 vor, das auf Basis von OpenStack „Havana“ und Crowbar eine umfassende Virtualisierungslösung zur Verfügung stellt und in der aktuellen Version bereits experimentelle Unterstützung für Ceph für die Funktionen „Block Storage“, „Object Storage“ und „Image Service“ beinhaltet. SUSE beschäftigt mehrere Entwickler, die sowohl an Open-Stack als auch an Ceph mitarbeiten und Code zu diesen Projekten beisteuern. Die Gründe, warum ein Anwender SUSE Cloud verwenden sollte wurden in drei Zahlen ausgedrückt: „1129“, „11“ und „2“, wobei ersteres die Zahl der potenziell zu setzenden OpenStack-Konfigurationparameter repräsentiert, „11“ die Zahl der zu installierenden Komponenten wiederspiegelt und es üblicherweise zwei Tage dauert, eine solche Infrastruktur aufzusetzen. Laut SUSE lassen sich diese zwei Tage mit Hilfe ihres Produkts auf zwei Stunden verkürzen. 

Im letzten Vortrags-Slot des Tages berichtete Dan van der Ster in seinem Vortrag „Scaling Ceph at CERN“ von den Erfahrungen, die er und sein Team bei CERN mit einem Ceph-Cluster mit 3 Petabyte Kapazität bisher gemacht haben. Der Cluster besteht aus 52 Servern mit insgesamt über 3TB RAM und mehr als 1100 3TB-Festplatten. Als Anwendungsfelder bei CERN werden unter anderem die Bereitstellung von Images und Volumes für CERNs OpenStack-Virtualisierungsplattform sowie die Eignung für die Speicherung von Meßdaten getestet. Laut van der Ster traten in den vergangenen 7 Monaten keinen nennenswerten Probleme oder Ausfälle auf. Mit steigender Anzahl von Anwendern und gespeicherten Objekten wurden allerdings einige Ungereimtheiten beobachtet, wie beispielsweise  beim Entfernen eines Storage Nodes (OSD) und der anschließenden Umverteilung der Daten (backfill) auf andere Knoten. 

Im Anschluß an das eng gepackte Vortragsprogramm lud Inktank die Teilnehmer bei Getränken und Snacks zu einer abschließenden gemeinsamen Q&A-Sitzung ein, um die Erkenntnisse des Tages nochmal zu resümieren und den Teilnehmern eine weitere Gelegenheit zum Austausch und gegenseitigem Kennenlernen zu ermöglichen.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -