PyTorch 1.1 ist da

PyTorch 1.1: Experimenteller Support für TensorBoard & Neuerungen am JIT-Compiler
Keine Kommentare

Neue Features und Breaking Changes in PyTorch 1.1: Das Update fällt keineswegs so klein aus, wie die Versionsnummer vermuten ließe. So wurde am JIT-Compiler gearbeitet und ein experimenteller, aber offizieller Support für TensorBoard eingeführt.

PyTorch 1.1 ist da. Die neue Version wurde im Kontext von Facebooks Entwickler-Konferenz F8 vorgestellt. Das Machine-Learning-Tool, das Facebook gemeinsam mit der KI-Community entwickelt, hatte im Dezember 2018 mit Version 1.0 den stabilen Release-Status erreicht. Das nun veröffentlichte Update fügt der Library zum ersten mal wieder neue Features in größerem Umfang hinzu. Auch Breaking Changes bringt PyTorch 1.1 mit. Somit folgt Facebook nicht dem semantischen Versionierungssystem, das Breaking Changes auf Major-Versionen einschränkt.

Googles TensorBoard in Facebooks PyTorch 1.1

Eine der größten Neuerungen in PyTorch 1.1 stellt der offizielle Support von TensorBoard da, der noch experimentell ist. Bei TensorBoard handelt es sich um einen Teil des TensorFlow-Toolings von Google. Das Toolkit wird zur Visualisierung und für Tests von Machine-Learning-Modellen genutzt. Die dazu notwendige Logging-Funktion ist in PyTorch nun über das Kommando from torch.utils.tensorboard import SummaryWriter verfügbar. Im Rahmen von Testläufen von PyTorch-Modellen kann das Lernverhalten so beispielsweise in Bildern, Graphen und Histogrammen visualisiert werden. Weitere Informationen zum experimentellen TensorBoard-Support können dem Changelog auf GitHub und der Dokumentation entnommen werden.

Für den JIT-Compiler von PyTorch, TorchScript, bringt das Release ebenfalls ein experimentelles Feature mit. Entwickler können hier nun eigene Klassen definieren. Diese müssen mit @torch.jit.script annotiert werden, damit der JIT-Compiler sie ausführt und in C++-Module lädt. Nicht mehr experimentell ist der Support für die Types Dictionary und List, die nun ebenfalls in TorchScript verfügbar sind. Die Types sollen sich weitgehend wie ihre Entsprechungen in Python verhalten.

Multi-GPU-Support hinzugefügt

In PyTorch 1.1 stehen außerdem neue Optionen zur Verbesserung der Performance beim Training bereit. Dazu wird mit der verteilten Ausführung von Modellen gearbeitet. Neu ist, dass nun nn.parallel.DistributedDataParallel genutzt werden kann, wenn ein Trainingsprozess auf mehrere GPUs verteilt werden soll.

Zu den Breaking Changes im Release gehört eine Neuerung an Tensor.set_. Die dafür ausgewählten Devices können nicht mehr nachträglich verändert werden. Laut Changelog auf GitHub könne das vor allem im Kontext von CUDA-Devices zu Problemen führen, wenn beim Erstellen zuerst das Standard-Device gewählt wird. Eine spätere Anpassung ist nicht mehr möglich. Außerdem wird CUDA 8.0 nicht mehr unterstützt.

Weitere Informationen zu den Neuerungen in PyTorch 1.1 können dem Changelog auf GitHub sowie der Meldung zum Release von Facebook entnommen werden.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu:
X
- Gib Deinen Standort ein -
- or -