Machine Learning über mehrere Tasks und Anwendungsdomains hinweg

MultiModel – Multi-Task Deep Learning für mehr Qualität
Kommentare

Google hat eine eine neuronale Netzwerkarchitektur namens MultiModel vorgestellt, die die Fähigkeiten mehrerer Deep-Learning-Netzwerke vereint. Durch gleichzeitiges Trainieren multipler Tasks verbessert sich dabei die Qualität des Machine Learnings.

Während uns neue Meldungen über Fortschritte im Bereich Deep Learning und Machine Learning fast täglich begleiten, zeichnet sich ab, dass die Architekturen neuronaler Netzwerke in der Regel im höchsten Maß auf die jeweilige Anwendungsdomain spezialisiert sind. Mit MultiModel hat Google nun eine neuronale Netzwerkarchitektur vorgestellt, die auf erfolgreichen Bild-, Sprach- und Audioerkennungsnetzwerken basiert. Auf diese Weise sollen Probleme gelöst werden, die multiple Anwendungsdomains betreffen.

Neuronales Netzwerk für multiple Domains

Laut den Forschern soll MultiModel der erste Schritt in die Richtung eines neuronalen Netzwerks sein, das die Domains Bild, Sprache und Audio vereint. Denn MultiModel ist offenbar in der Lage, in bis zu acht verschiedenen Tasks gleichzeitig zu lernen: Es kann Objekte in Fotos erkennen, passende Benennungen/Untertitel erzeugen, Sprache erkennen, Übersetzungen für vier Sprachen anfertigen und grammatikalische Syntaxanalysen durchführen.

Gleichzeitiges Lernen = besseres Lernen

Dabei erkannten die Google-Forscher, dass die Spezifika einer Domain, in der MultiModel trainiert wird, nicht nur einen Einfluss auf den Trainingserfolg anderer Domains haben. Vielmehr verbessert sich durch sogenannte „computational primitives“ wie Überlagerungen, Aufmerksamtkeit oder mehrere gemischte Experten-Layer auch die Performance der Domain, die ursprünglich im Fokus stand. Oder einfach ausgedrückt: Gleichzeitige Trainings in verschiedenen Domains/Tasks befruchten sich gegenseitig und verbessern die Ergebnisse der Hauptdomain.

Guter Ansatz bei begrenzten Datensätzen

Darüber hinaus erkannten die Forscher, dass man nicht nur eine gute Performance erhält, wenn man gleichzeitig verschiedenste Tasks trainiert. Bei Tasks, die ferner nur über einen begrenzten Datensatz zum Trainieren verfügen, wird durch simultanes Training die Performance verbessert – selbst wenn die Tasks wenig gemeinsam haben.

Während mit MultiModel keine neuen Performancerekorde aufgestellt werden, ist der wichtige Schluss für die Forscher ein anderer: In Tasks, die über wenig Daten (zum Trainieren) verfügen, wird durch das Hinzufügen von Hilfstasks die Qualität und das Potenzial des Lernens erhöht.

MultiModel als Teil von Tensor2Tensor Open Source

Google hat MultiModel bereits Anfang der Woche als Teil von Tensor2Tensor, einem System für das Training von Deep-Learning-Modellen, Open Source gestellt. Tensor2Tensor (T2T) soll Wissenschaftlern dabei helfen, State-of-the-Art-Modelle für ein breites Spektrum an Machine-Learning-Applikationen zu erstellen, darunter Übersetzungen, Syntaxanalyse, Bilderkennung und -benennung. Dank einer Bibliothek aus Datensätzen und Modellen gibt Google Entwicklern und Wissenschaftlern damit ein Set von Best Practices an die Hand, um effizienter und schneller KI-Forschung zu betreiben.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -