BERT ist ein hochmodernes Modell der natürlichen Sprachverarbeitung (NLP), das ein Pre-Training an unmarkierten Textdaten und später die Übertragung des Trainings auf eine Vielzahl von NLP-Aufgaben ermöglicht. Aufgrund seiner vielversprechenden neuartigen Ideen und seiner beeindruckenden Leistung haben wir es als Kernkomponente für ein neues Produkt mit natürlicher Spracherzeugung ausgewählt. Ein Paper zu lesen, vielleicht einem Tutorial mit Beispielcode zu folgen und ein funktionsfähiges Softwareprodukt in die Produktion zu bringen, sind jedoch völlig verschiedene Dinge.
In diesem Talk von der ML Conference 2019 erklärt Christoph Henkelmann, wie er eine maßgeschneiderte Version des BERT-Netzwerks trainiert und in eine Anwendung zur Erzeugung natürlicher Sprache (NLG) integriert hat. Der Speaker erklärt, warum die Wahl für das Projekt auf BERT fiel und welche anderen Ansätze ausprobiert wurden. Außerdem zeigt er eine Reihe von Misserfolgen und Fehlern auf, die dabei passiert sind, geht aber auch auf Überraschungen, Erfolge und Lehren aus dem Projekt ein.
Efficient Transformers
Christoph Henkelmann, DIVISIO
Enhancing Page Visits by Topic Prediction
Dieter Jordens, Continuum Consulting NV
Machine Learning on Edge using TensorFlow
Håkan Silfvernagel, Miles AS
Der Speaker: Christoph Henkelmann
Christoph Henkelmann holds a degree in Computer Science from the University of Bonn. He is currently working at DIVISIO, an AI company from Cologne, where he is CTO and co-founder. At DIVISIO, he combines practical knowledge from two decades of server and mobile development with proven AI and ML technology. In his pastime he grows cacti, practices the piano and plays video games.
