Wissenschaftler haben ein Sprachneuronales Netzwerk geschaffen, das in seiner Qualität dem Menschen nahekommt. Es soll so gut sein, dass die Autoren Angst haben, es zu veröffentlichen!

Experten von OpenAI haben auf ihrem Blog einen weiteren technologischen Erfolg präsentiert – das Sprachmodell GPT-2. Im Titel des Artikels schreiben sie, dass die Autoren anscheinend Angst haben, es zu veröffentlichen. Statt der vollständigen Version haben die Wissenschaftler von OpenAI nur eine stark reduzierte Version des Modells auf GIT veröffentlicht, die die grundlegende Funktion demonstrieren soll. Der Grund? Das Modell erzielt angeblich großartige Ergebnisse für heutige Verhältnisse und hat im Vergleich zu anderen Modellen spielend leicht gewonnen. Die Autoren hatten daher Angst vor möglichem Missbrauch.

Es hat mich überrascht, dass man beispielsweise nur eine Überschrift schreibt und GPT-2 dann den gesamten Artikel zu dem Thema vervollständigt! Im Originalartikel gibt es ein schönes Beispiel eines generierten Artikels darüber, wie Wissenschaftler ein Einhorn entdeckt haben. 🙂

Dieses Modell soll auch in Aufgaben der Fragenbeantwortung sehr gute Ergebnisse erzielen.

Die Nichtveröffentlichung des Modells hat unter den Fachleuten großen Aufruhr ausgelöst. Auf der einen Seite sagen sie, dass es keinen signifikanten algorithmischen Durchbruch gegeben hat, sondern dass nur mit mehr Daten gerechnet wird. Man kann leicht berechnen, dass man, wenn man es eilig hat, ein ähnliches Modell auf 80 Grafikkarten zu Hause in etwa einem Monat berechnen kann, was etwa 1 Million Kronen kosten würde. Oder wenn man „sparen“ möchte, würde es auf 8 Grafikkarten 10 Monate dauern – das würde etwa 450.000 Kč (AWS) kosten. 🙂

Glauben Sie, dass die Bedrohung durch die Generierung von Fake News mit diesem Algorithmus real ist und dass die Autoren es gut gemacht haben, nur das kleinste Modell zu veröffentlichen?

******************** Quellen und Links***************************

Tschechischer Artikel (inklusive der nicht allzu gelungenen Versuche des Autors mit seinem eigenen Modell): https://www.zive.cz/…/vedci-vytv…/sc-3-a-197236/default.aspx

Originalartikel: https://blog.openai.com/better-language-models/

Github: https://github.com/openai/gpt-2

Diskussion über die Nichtveröffentlichung größerer Modelle: https://www.fast.ai/2019/02/15/openai-gp2/

SQuAD: http://blog.alphai.cz/stanford-question-answering-dataset-…/
Konkurrenz von Google BERT: http://blog.alphai.cz/spolecnost-google-tento-tyden-zverej…/