Tolle Neuigkeiten! OpenAI hat endlich sein größtes XLGPT-2-Modell mit 1,5 Milliarden…
Tolle Neuigkeiten! OpenAI hat endlich sein größtes XLGPT-2-Modell mit 1,5 Milliarden Parametern und 48 Schichten veröffentlicht. Ich finde es großartig, dass die Leute die Ausgaben von GPT-2 als sehr überzeugend empfinden. Bei dem größten Modell liegt das „Vertrauensscore“ bei 6,91 von 10. Das ist nur ein wenig mehr als bei den Ausgaben des 774M-Modells (6,72) und deutlich mehr als beim mittleren Modell 355M (6,07). Der Unterschied zwischen dem großen und dem supergroßen Modell ist also relativ gering (mein Gott, das ist ein Satz:)). Das war wahrscheinlich der letzte Tropfen, der OpenAI dazu brachte, das XL-Modell freizugeben.
Tolle Neuigkeiten! OpenAI hat endlich sein größtes XLGPT-2-Modell mit 1,5 Milliarden Parametern und 48 Schichten veröffentlicht. Ich finde es großartig, dass die Leute die Ausgaben von GPT-2 als sehr überzeugend empfinden. Bei dem größten Modell liegt das „Vertrauensscore“ bei 6,91 von 10. Das ist nur ein wenig mehr als bei den Ausgaben des 774M-Modells (6,72) und deutlich mehr als beim mittleren Modell 355M (6,07). Der Unterschied zwischen dem großen und dem supergroßen Modell ist also relativ gering (mein Gott, das ist ein Satz:)). Das war wahrscheinlich der letzte Tropfen, der OpenAI dazu brachte, das XL-Modell freizugeben.
Aus pragmatischer Sicht füge ich hinzu, dass das 774M-Modell nicht mehr auf kostenlosen Colab-GPUs trainiert oder feinjustiert werden konnte.
Quelle: https://openai.com/blog/gpt-2-1-5b-release/?fbclid=IwAR1TjKlPbUMx8Q6kJKZuGCTsB5USgNVQtsdTJa9qRE7qLozLlp-f0STLsaU
Github: https://github.com/openai/gpt-2-output-dataset
Soziale Auswirkungen: https://d4mucfpksywv.cloudfront.net/papers/GPT_2_Report.pdf
Paper: https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
Ursprünglich auf Facebook veröffentlicht — Link zum Post
Původní zdroj: facebook