Immer mehr Entwickler beabsichtigen, generative AI-Funktionen in ihre Anwendungen zu integrieren. Bislang führte dieser Weg praktisch immer in die Cloud – aber das muss nicht sein! Derzeit gibt es verschiedene vielversprechende Ansätze, um AI-Modelle direkt auf dem Computer des Nutzers laufen zu lassen: Hugging Face zum Beispiel bietet mit Transformers.js die Möglichkeit, Machine-Learning-Modelle direkt im Browser zu nutzen. Die Web Neural Network API (WebNN) des W3C, die sich noch in der Spezifikationsphase befindet, wird solchen Modellen Zugriff auf die Neural Processing Unit (NPU) des Geräts gewähren. Dadurch können Large Language Models (LLM) oder stabile Diffusionsmodelle effizient im Browser ausgeführt werden. Die Vorteile dieser Ansätze liegen auf der Hand: Lokal ausgeführte AI-Modelle sind auch offline verfügbar, die Nutzerdaten verlassen das Gerät nicht, und das Ganze ist dank Open-Source-Modellen sogar kostenlos. Aber natürlich muss das Modell erst auf das Gerät des Nutzers übertragen werden, das zudem ausreichend leistungsfähig sein muss. In diesem Vortrag stellt Christian Liebel, Thinktecture-Vertreter beim W3C, die Ansätze vor, um Ihre Single-Page-App intelligenter zu machen. Wir werden Anwendungsfälle diskutieren und die Vor- und Nachteile der einzelnen Lösungen aufzeigen.

Mit Christian Liebel | 17:30 Uhr – 18:15 Uhr