Das neueste Modell der künstlichen Intelligenz zur Verarbeitung natürlicher Sprache – ALBERT!

Unter den besten Modellen der künstlichen Intelligenz zur Verarbeitung natürlicher Sprache (Bert, Robert, GPT-2 oder Megatron) ist letzte Woche ein weiterer Spieler aufgetaucht: ALBERT! ALBERT wird uns von den Unternehmen Google Research und Toyota Technological Institute präsentiert. Interessant ist das Modell nicht nur, weil es fantastische Ergebnisse in klassischen Aufgaben wie GLUE, RACE oder SQuAD liefert, sondern vor allem, weil es kleiner ist als seine Vorgänger! Zum Beispiel hat das alte BERT x-large etwa 1,27 Milliarden Parameter, während ALBERT x-large „nur“ 59 Millionen Parameter hat.

Wie ist es den Autoren gelungen, die Genauigkeit zu erhöhen und gleichzeitig die Anzahl der „Gehirnzellen“ zu reduzieren?

Dafür gibt es drei Gründe:
1 — Factorized Embedding Parameterization
Das bedeutet eine effizientere Nutzung der Parameter. ALBERT verwendet anstelle einer einzigen Embedding-Schicht zwei kleinere. Der One-Hot-Vektor wird in eine kleinere Schicht mit weniger Dimensionen übertragen.

2 — Cross Layer Parameter Sharing Schichten
ALBERT optimiert die Verteilung der Parameter (Feed Forward Network und Attention) über alle Schichten hinweg. Stellen Sie sich vereinfacht vor, dass das neue Gehirn seine einzelnen Zentren besser verknüpft hat.

3 — Der SOP (Sentence Order Prediction) Algorithmus ersetzt den NSP (Next Sentence Prediction)
Bereits die Autoren von RoBERTa bemerkten, dass der NSP-Algorithmus nicht sehr effektiv war. Die Autoren von ALBERT bringen jedoch einen eigenen, besseren Algorithmus, den SOP, hervor. Während der NSP das Modell lehrt, den richtigen Satz zu erkennen, indem er Sätze aus demselben Dokument verwendet und den falschen, indem er einen Satz aus einem anderen Dokument nimmt, verwendet SOP beide Sätze aus demselben Dokument, wobei das richtige Paar in der korrekten Reihenfolge und das falsche in vertauschter Reihenfolge vorliegt. Dadurch vermeidet ALBERT die unbeabsichtigte Vorhersage des Themas und ist in der Lage, feinere Beziehungen zwischen den einzelnen Sätzen zu lernen.

Zusammenfassend lässt sich sagen, dass eine neue Reihe von Modellen zur Textverarbeitung entstanden ist, die sehr präzise ist und gleichzeitig weniger Platz benötigt.

Quellen:
https://medium.com/…/meet-albert-a-new-lite-bert-from-googl…

https://arxiv.org/abs/1909.11942v1