Kooperatives Machine Learning ohne zentralisierte Trainingsdaten

Federated Learning: Machine Learning auf dem Mobile Device
Kommentare

Bekannte Machine-Learning-Ansätze benötigen eine Zentralisierung der Trainingsdaten auf einer Maschine oder in einem Datencenter. Google selbst hat dafür eine Cloud-Infrastruktur geschaffen, um diese Daten zu verarbeiten. Jetzt stellt das Unternehmen für Modelle, die über Nutzer-Interaktionen mit mobilen Geräten trainiert werden, einen neuen Ansatz vor: Federated Learning.

Federated Learning ermöglicht Mobiltelefonen das kooperative Lernen eines geteilten Vorhersagemodells, während alle Trainingsdaten auf dem Device verbleiben.

Auf diese Weise muss Machine Learning nicht länger auf die Cloud zurückgreifen. Das ist ein wichtiger Meilenstein, da bislang nur lokale Modelle (wie das Mobile Vision API) Vorhersagen auf mobilen Devices durchführen konnten. Nun schafft es aber das Modelltraining selbst aufs Device.

Federated Learning – das steckt dahinter

Federated Learning kann man sich im Prinzip wie folgt vorstellen: Dein Device lädt das aktuelle Modell herunter, verbessert es dank des Lernens der Daten auf dem Telefon und fasst die Änderungen als kleines Update zusammen. Nur dieses Update wird verschlüsselt an die Cloud geschickt, wo es sofort mit anderen Updates gemittelt wird, um das geteilte Modell zu verbessern. Die gesamten Trainingsdaten bleiben auf deinem Gerät, keine individuellen Updates werden in der Cloud gespeichert.

Federated Learning bei Google

Diese neue Art des Machine Learnings ermöglicht klügere Modelle, geringere Latenzen und niedrigeren Energieverbrauch. Zudem bringt der Ansatz einen weiteren Vorteil: Das verbesserte Modell auf dem Telefon kann direkt genutzt werden und so personalisierte Erlebnisse bieten.

Applying Federated Learning requires machine learning practitioners to adopt new tools and a new way of thinking: model development, training, and evaluation with no direct access to or labeling of raw data, with communication cost as a limiting factor.

Derzeit wird Federated Learning in Gboard für Android, der Google-Tastatur, getestet. Sobald Gboard eine vorgeschlagene Query anzeigt, speichert das Telefon lokal Informationen über den aktuellen Kontext und darüber, ob der Vorschlag geklickt wurde. Federated Learning verarbeitet diese History auf dem Gerät, um Verbesserungen bei der nächsten Iteration des Query-Suggestion-Modells vorzuschlagen.

Federated Learning wird derzeit in Gboard für Android getestet

Voraussetzungen für Federated Learning

Um die neue Technologie möglich zu machen, mussten einige algorithmische und technologische Herausforderungen gemeistert werden. Da bei Federated Learning Daten über Millionen von Geräten in höchst ungleicher Art und Weise verteilt sind, muss auf Dinge wie hohe Latenz, niedrigere Durchsatzverbindungen und lediglich periodische Verfügbarkeit geachtet werden.

Um diese Beschränkungen zu umgehen, setzt das Google-Research-Team auf die mächtigen Prozessoren in mobilen Geräten. Da es weniger Iterationen von qualitativ hochwertigen Updates zur Erzeugung eines guten Modells braucht, kann das Training wesentlich weniger Datenkommunikation nutzen. Zudem sind Upload-Geschwindigkeiten langsamer als Download-Geschwindigkeiten, weshalb das Entwicklungsteam die Kommunikationskosten durch Kompression von Updates um bis zu 100-mal gesenkt hat. Daneben wurden Algorithmen für hochdimensionale spärliche konvexe Modelle entworfen, die bei Problemen wie der Vorhersage der Click-Through-Rate glänzen.

Natürlich braucht man dafür auch einen anspruchsvollen Technologie-Stack, in diesem Fall eine Miniaturversion von TensorFlow. Modelle werden nur trainiert, wenn das Device im Leerlauf, an Strom angeschlossen ist und eine Wifi-Verbindung besteht. Auf diese Weise hat Federated Learning keinen negativen Einfluss auf die Leistung des Telefons. Um die Sicherheit der Daten zu gewährleisten, wurde extra das Secure-Aggregate-Protokoll entwickelt, das kryptographische Techniken anwendet.

Ausführliche Informationen zu Federal Learning bietet der entsprechende Post im Google-Research-Blog.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -