Google DeepMind stellt Sonnet Open Source

Sonnet – eine Bibliothek zum Erstellen neuronaler Netzwerke
Kommentare

Googles DeepMind hat seine objektorientierte Bibliothek Sonnet zur Erstellung neuronaler Netzwerke Open Source gestellt. Sonnet soll aber nicht TensorFlow ersetzen, sondern auf einer anderen Ebene operieren.

Vor rund einem Jahr hat sich DeepMind dazu entschlossen, seine gesamte Forschungsorganisation auf TensorFlow umzustellen. Offensichtlich ein guter Entschluss: Die Modelle lernen wesentlich schneller und die eingebauten Features für verteiltes Training haben den Code enorm vereinfacht.

Im Laufe dieser Entwicklungen fand das Team heraus, dass die Eigenschaften von TensorFlow das Framework selbst dazu bringen, higher-level Frameworks für spezifische Anlässe zu generieren. Daraus ist dann ein Framework zum Erstellen von neuronalen Netzwerk-Modulen entstanden – Sonnet – das ab sofort Open Source zur Verfügung steht.

Was ist eigentlich TensorFlow? Die Antwort gibt’s hier.

Sonnet – neuronale Netzwerke leicht gemacht

Sonnet besitzt einige Gemeinsamkeiten mit bestehenden neuronalen Netzwerken im TensorFlow-Ökosystem, unterscheidet sich von diesen aber durch seine Spezifikation. Die Bibliothek setzt auf einen objektorientierten Ansatz (ähnlich wie Torch/NN) und ermöglicht das Erstellen von Modulen, die die Vorwärtsrechnung einiger Berechnungen definieren. Module werden über Input-Tensors „aufgerufen“, die Funktionen zum Graphen hinzufügen und Output-Tensors zurückgeben.

Besonders wichtig war es dem Team, das Teilen von Variablen transparent zu gestalten. Zudem wurde auf Code gesetzt, der Submodule explizit repräsentiert und somit eine einfache Code-Wiederverwendung und schnelle Experimente ermöglicht. Sonnet fördert das Schreiben von Modulen, die andere Submodule intern deklarieren oder andere Module zur Bauzeit übergeben.

Eine weitere Technik ist die Möglichkeit, bestimmte Module auf beliebig ineinander geschachtelte Gruppen von Tensors anzuwenden. Sonnet ist auf eine Zusammenarbeit mit TensorFlow ausgelegt und ermöglicht so auch den Zugang zu Tensors und variable_scopes. In Sonnet geschriebene Modelle können frei mit TensorFlow-Code und anderen high-level Libraries gemischt werden.

Das Code-Release von Sonnet begleitet das „Learning to learn“-Paper von DeepMind. Weitere kommende Veröffentlichungen werden auf die nun erschienene Library aufsetzen. Das zugehörige GitHub-Repository soll regelmäßig aktualisiert werden.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Meinungen zu diesem Beitrag

X
- Gib Deinen Standort ein -
- or -