Serving-System für Machine-Learning-Modelle frei verfügbar

Google stellt TensorFlow Serving Open Source
Kommentare

Um den Machine-Learning-Prozess und die Forschung auf diesem Gebiet voranzutreiben, hat Google bereits im vergangenen Jahr das Machine-Learning-System TensorFlow Open Source zur Verfügung gestellt. Nun steht auch das hochperformante Serving-System TensorFlow Serving quelloffen zur Nutzung bereit. Mit ihm sollen Dienste, die auf Machine-Learning-Modellen basieren, optimiert werden.

Das Serving-System für Machine-Learning-Modelle TensorFlow Serving ist laut Google ideal, um in großem Maßstab mehrere solcher Modelle parallel zu betreiben. Das ist insofern eine komplexe Aufgabe, da sich diese Modelle mit der Zeit aufgrund der generierten Daten stetig verändern. Mit TensorFlow Serving sollen ein Model-Lifecycle-Management, eine effiziente Nutzung der GPU-Ressourcen und Experimente mit verschiedenen Algorithmen möglich sein. Die Übernahme eines Machine-Learning-Modells in die Produktion soll mit dem Serving-System leichter und schneller werden. Auch das sichere Deployment von neuen Modellen und das Betreiben von Experimenten innerhalb derselben Server-Architektur und mit denselben APIs werden so möglich.

Was kann TensorFlow Serving?

TensorFlow Serving bietet eine vollständige Integration mit TensorFlow, kann aber auch auf andere Machine-Learning-Modelle angewandt werden. Vereinfacht gesagt werden Daten an den Learner übertragen, der aus diesen ein Modell generiert:

Quelle: http://google-opensource.blogspot.de/2016/02/running-your-models-in-production-with.html

Quelle: http://google-opensource.blogspot.de/2016/02/running-your-models-in-production-with.html

Sobald eine neue Modellversion aufgrund von Validation zur Verfügung steht, kann sie direkt zum Serving-System deployt werden:

Quelle: http://google-opensource.blogspot.de/2016/02/running-your-models-in-production-with.html

Quelle: http://google-opensource.blogspot.de/2016/02/running-your-models-in-production-with.html

TensorFlow Serving nutzt ein zuvor trainiertes Modell, um Rückschlüsse zu ziehen – sprich: Annahmen, die auf neuen Daten der Clients basieren. Da Clients typischerweise per RPC-Interface mit Serving-Systemen kommunizieren, verfügt TensorFlow Serving über eine Referenz-Frontend-Implementierung basierend auf gRPC. Weil ständig neue Daten in das Serving-System fließen, entstehen auch stets neue Modelle – und so werden immer neue Modellversionen produziert. Google spricht dabei von einer „continuous training pipeline“.

Lesen Sie hier mehr zum Thema Tensor Flow.

Das Serving-System ist in C++ geschrieben und unterstützt Linux. Google konnte in den eigenen Benchmarks auf einer 16-vCPU-Intel-Xeon-E5-2.6-GHz-Maschine einen Wert von rund 100.000 Queries pro Sekunde pro Core messen. TensorFlow Serving steht unter der Apache-2.0-Lizenz zur Verfügung. Auf GitHub findet sich neben dem Code auch ein Tutorial zu TensorFlow Serving.

 

Aufmacherbild: Fractal Realms series von Shutterstock / Urheberrecht: agsandrew

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -