Amazon Web Services und Elastic partnern

Neuer Amazon Elasticsearch Service gestartet
Keine Kommentare

Elasticsearch ist eine Echtzeit-Suchmaschine auf Basis von Apache Lucene. Das in Java geschriebene Programm speichert die Suchergebnisse in einem NoSQL-Format (JSON) und gibt sie über ein RESTful-Webinterface aus. Amazon Web Services hat nun einen eigenen Elasticsearch-Service gestartet.

Das Besondere an Elasticsearch ist seine verteilte Struktur: Einzelne Knoten bilden ein Cluster, in dem große Datenmengen per Sharding verteilt werden können. Bei Bedarf können die Shards auf mehrere Server aufgeteilt werden, um die Rechenlast zu verteilen oder Serverausfälle zu kompensieren. Elasticsearch persistiert im Unterschied zu Caching-Lösungen die Daten und kann deswegen auch für eine längerfristige Speicherung genutzt werden.

Amazon Web Services (AWS) möchte auch ein Stück vom Kuchen abhaben und verkündet heute die Partnerschaft mit Elastic und den daraus resultierenden Amazon Elasticsearch Service (ES).

Über die AWS-Management-Konsole lässt sich ein skalierbarer Elasticsearch-Cluster starten; daraufhin muss nur noch der Client auf den Cluster-Endpunkt ausgerichtet werden und schon soll das Laden, Verarbeiten, Analysieren und Visualisieren von Daten losgehen können. Chief Evangelist Jeff Barr erklärt im AWS-Blog, wie das Ganze funktionieren soll.

Amazon Elasticsearch Service nutzen

Um mit dem neuen Elasticsearch Service loszulegen, müssen Nutzer zuerst eine Amazon-ES-Domain erstellen und Instance-Type und Instance-Anzahl auswählen. Um die richtigen Instance-Types auszuwählen, hält Amazon Richtlinien bereit: T2 ist die richtige Wahl für Development und Test, R3 bietet sich für die Verarbeitung von komplexen Loads an, I2 ist optimal für umfangreiche, High-Write Datenspeicherung und M3 ist die beste Option für ausgeglichene Lese-/Schreib-Loads.

Amazon ES bietet die Möglichkeit, die Funktionen „Dedicated Master“ und „Zone Awareness“ an- oder abzuwählen. Wählt man „Dedicated Master“, erstellt Amazon ES eine gesonderte Master-Node für den Cluster; bei „Zone Awareness“ werden Nodes über verschiedene Availability Zones verteilt, um die Verfügbarkeit zu steigern.

Schließlich muss noch die Zugriffs-Policy festgelegt werden; dann wird der Cluster erstellt und die Amazon-ES-Domain liegt auf dem Dashboard. Möchte man nun Dokumente hinzufügen und später Informationen daraus abrufen, hilft das Tool Kibana bei der Visualisierung.

Außerdem ist es mit Amazon Elasticsearch Service möglich, den Cluster per CLI, API oder die Konsole zu skalieren. Des Weiteren wird CloudWatch Logs in Amazon ES integriert – ein Snapshot des Clusters wird täglich erstellt und für 14 Tage dauerhaft gespeichert. Jede Domain sendet 17 verschiedene Metriken zu CloudWatch, die den unterliegenden Cluster-Status anzeigen:

green means all shards are assigned to a node; yellow means that at least one replica shard is not assigned to any node; red means that at least one primary shard is not assigned to a node.

Ausführliche Informationen und Use Cases zu Amazons Elasticsearch Service finden sich im zugehörigen Blogpost und der Dokumentation.

ML Summit Munich 2020

Market Segmentation in the Era of Big Data

mit Özge Sahin (SkyScry)

Deep Learning mit TensorFlow

Mit Jakob Karalus (Deloitte Consulting)

.

Aufmacherbild: A ball of elastic bands, of many different colors, placed on a colored background von Shutterstock / Urheberrecht: JFJacobsz

Unsere Redaktion empfiehlt:

Relevante Beiträge

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu:
X
- Gib Deinen Standort ein -
- or -