Skvělá zpráva! OpenAI konečně vydal svůj největší XLGPT-2 model s 1,5 miliardami…
Skvělá zpráva! OpenAI konečně vydal svůj největší XLGPT-2 model s 1,5 miliardami parametrů a 48 vrstvami. Líbí se mi, že lidé považují výstupy GPT-2 za velmi přesvědčivé. U největšího modelu je „skóre důvěryhodnosti“ 6,91 z 10. To je jen ne
Skvělá zpráva! OpenAI konečně vydal svůj největší XLGPT-2 model s 1,5 miliardami parametrů a 48 vrstvami. Líbí se mi, že lidé považují výstupy GPT-2 za velmi přesvědčivé. U největšího modelu je „skóre důvěryhodnosti“ 6,91 z 10. To je jen nepatrně víc než u výstupy z modelu 774M (6,72) a výrazně více než u středního modelem 355M (6,07). Rozdíl mezi velkým a super velkým modelem je tedy relativně malý (proboha to je věta:)). To byla asi ta poslední pomyslná kapka, která vedla Open AI k uvolnění XL modelu.
Z pragmatické stránky dodávám, že už 774M model nešlo trénovat/dolaďovat na free Colab GPU.
Zdroj: https://openai.com/blog/gpt-2-1-5b-release/?fbclid=IwAR1TjKlPbUMx8Q6kJKZuGCTsB5USgNVQtsdTJa9qRE7qLozLlp-f0STLsaU Github: https://github.com/openai/gpt-2-output-dataset Sociální dopad: https://d4mucfpksywv.cloudfront.net/papers/GPT_2_Report.pdf Paper: https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
Původně publikováno na Facebooku — odkaz na post
Původní zdroj: facebook