Skvělá zpráva! OpenAI konečně vydal svůj největší XLGPT-2 model s 1,5 miliardami parametrů a 48 vrstvami.

Líbí se mi, že lidé považují výstupy GPT-2 za velmi přesvědčivé. U největšího modelu je „skóre důvěryhodnosti“ 6,91 z 10. To je jen nepatrně víc než u výstupy z modelu 774M (6,72) a výrazně více než u středního modelem 355M (6,07). Rozdíl mezi velkým a super velkým modelem je tedy relativně malý (proboha to je věta:)). To byla asi ta poslední pomyslná kapka, která vedla Open AI k uvolnění XL modelu.

Z pragmatické stránky dodávám, že už 774M model nešlo trénovat/dolaďovat na free Colab GPU.

Zdroj: https://openai.com/blog/gpt-2-1-5b-release/…
Github: https://github.com/openai/gpt-2-output-dataset
Sociální dopad: https://d4mucfpksywv.cloudfront.net/papers/GPT_2_Report.pdf
Paper: https://d4mucfpksywv.cloudfront.net/…/language_models_are_u…