Wenn Skripte Datenberge versetzen

ETL-Tool Singer Open Source verfügbar: Datenbanken praktisch strukturieren
Kommentare

Ein ETL-Tool ermöglicht, aus verschiedenen Datenströmen eine Datenbank strukturiert zu füllen und zu verwalten. Mit Singer ist jetzt ein praktisches und potentes Werkzeug für eben diesen Zweck Open Source verfügbar. Was steckt alles in Singer drin?

Eine Vielzahl von Unternehmen nutzt heutzutage ETL-Tools (Extract, Transform, Load) zur Verwaltung und „Lagerung“ von komplexen Daten und Datenströmen aus verschiedenen Quellen. ETL-Lösungen wie Stitch ermöglichten bisher zwar die problemlose Inkorporation von ca. 50 verschiedenen Tools, es gibt aber allein Marketingbedarf für die Integration von über 3.800 verschiedenen Werkzeugen. Da diese enorme Vielfalt nicht von proprietärer Software integriert werden kann, haben sich die Macher von Stitch für eine elegante Lösung entschieden, um das Problem zu lösen. Singer wurde Open Source releast und ermöglicht den Anwendern, die benötigten Tools einfach selbst zu integrieren.

Eine Übersicht von den meisten Tools im Marketing. © chiefmartec.com

Singer kann entweder auf der unternehmenseigenen Hardware laufen, oder aber in Stitch genutzt werden, um so die kostenpflichtigen Dienste wie beispielsweise Monitoring, Alerting oder automatische Skalierung in Anspruch zu nehmen. Bei der Entwicklung wurde darauf Rücksicht genommen, jede Komponente mit so wenig externen Abhängigkeiten wie möglich auskommen zu lassen, was CEO Jake Stein die „Unix Philosophie“ nennt. Hier ist Singer in Aktion zu sehen.

Was Singer alles kann

Singer ermöglicht es, Skripte zur Datenverwaltung zu schreiben. Die Open-Source-Software besteht im Kern aus drei Spezifikationen: Data Extractions-Skripts, die „Taps“ genannt werden, und Daten-Lade-Skripte, sog. „Targets“, kommunizieren miteinander. Ein JSON-basiertes Format ermöglicht jede Kombination von Taps und Target, um Daten von jeder Quelle an jedes beliebige Ziel bewegen, wie zwischen Datenbanken, Web APIs, Queues etc. Darüber hinaus können beispielsweise Google Spreadsheets aufgefüllt werden, wie auch im Getting-Started-Guide gezeigt wird.

Damit soll die Daten-Extraktion und Konsolidierung für alle Tools im Unternehmen ermöglicht werden: Werbe-Plattformen, Web Analytics, Payments, Email Service, Marketing und mehr. Python ist zwar die Sprache für die Integration, aber auch alle anderen Tools, die die Spezifikationen erfüllen, können integriert werden. Im Moment hat Singer 18 verschiedene Taps und fünf Targets (CSV, Google Sheets und Stitch).

Name Singer
Hersteller Stitch
Projektwebsite https://www.singer.io/
GitHub https://github.com/singer-io
Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -