Machine Learning

OpenAIs Release-Pläne für GPT-2

Zwischenstand nach 6 Monaten: Wird OpenAI das „gefährliche“ Language Model GPT-2 veröffentlichen?
Keine Kommentare

Seit der Vorstellung des Large-Scale Language Models GPT-2 sind sechs Monate vergangen, und wie versprochen hat OpenAI die Situation erneut evaluiert. Der Quellcode wurde damals bewusst unter Verschluss gehalten, denn GPT-2 könne zum Beispiel zur Erstellung von Fake News verwendet werden. Was hat sich seitdem getan?

Im Februar dieses Jahres stellte die KI-Schmiede OpenAI erstmals das Large-Scale Unsupervised Language Model GPT-2 vor. Es ist in der Lage, nach einem kurzen thematischen Input weitergehende, zusammenhängende Texte zu verfassen. Sie sollen über mehr als eine Seite hinweg eine täuschend echte, wie von Menschenhand geschriebene Qualität besitzen. Entgegen der bisherigen Praxis entschied sich OpenAI, den Quellcode seiner neuesten Technologie nicht zu veröffentlichen. Nach sechs Monaten wurde nun das angekündigte Update zur Situation geliefert.

Veröffentlichung von GPT-2 774M

Die Capped-Profit-Organisation OpenAI, zu dem Zeitpunkt noch Non-Profit, begründete ihre umstrittene Entscheidung damit, dass die Fähigkeiten zur automatisierten Texterstellung zu gefährlich für Open Source seien. Zum Beispiel könne GPT-2 für überzeugende Fake News, Phishing oder die Manipulation der Inhalte sozialer Medien verwendet werden. Das vollständige GPT-2-Modell besteht aus 1558 Millionen Parametern und wird weiterhin nicht quelloffen zur Verfügung gestellt.

Stattdessen wurde nun im Rahmen eines schrittweisen Staged Release eine weitere Open-Source-Version mit geringerem Umfang auf GitHub veröffentlicht: GPT-2 „Large“ mit 774 Millionen Parametern. Das Staged Release soll dazu beitragen, nach jedem Schritt die Auswirkungen und sozialen Implikationen der Modelle zu evaluieren. Zuvor wurden schon die Versionen 124M („Small“) und 355M („Medium“) im Februar bzw. Mai Open Source gestellt. Aufgrund eines Berechnungsfehlers liefen sie zunächst unter 117M und 345M, weshalb die Bezeichnungen abweichen können.

Künftige Release-Pläne

OpenAI ist eine Partnerschaft mit vier Forschungsorganisationen eingegangen, die neben 774M auch das komplette GPT-2-Modell 1558M analysieren können. Erste Funde sind in den technischen Report „Release Strategies and the Social Impacts of Language Models“ eingeflossen. Dort werden unter anderem die sozialen Auswirkungen und potenziellen positiven sowie schädlichen Anwendungsbereiche behandelt. Auch die Erkennung künstlicher Texte durch Menschen und Technologien kommt zur Sprache.

Für das eventuelle Release des vollständigen GPT-2-Modells sollen künftige Ergebnisse beachtet werden, die den Forschungspartnerschaften entspringen. Daneben werden jedoch auch Erfahrungen mit der öffentlichen Nutzung von 774M und weitere Faktoren eine Rolle spielen. Derzeit plant OpenAI die Veröffentlichung von GPT-2 in einigen Monaten. In Abhängigkeit von neuen Erkenntnissen, zum Beispiel anhand eines schädlichen Einsatzes von 774M, kann sich das allerdings noch ändern.

Alle weiteren Informationen zum Stand der Dinge nach sechs Monaten, inklusive einer aktuellen Timeline mit Geschehnissen rund um GPT-2, bietet der OpenAI-Blog.

Unsere Redaktion empfiehlt:

Relevante Beiträge

Hinterlasse einen Kommentar

Hinterlasse den ersten Kommentar!

avatar
400
  Subscribe  
Benachrichtige mich zu:
X
- Gib Deinen Standort ein -
- or -