Werden Sprachmodelle kostenlos sein?

Werden Sprachmodelle kostenlos sein?

Das Ziel des Forschungsteams von EleutherAI ist es, einen Klon von GPT-3 zu erstellen, der für alle kostenlos verfügbar ist!

EleutherAI ist eine freie Gruppe unabhängiger Wissenschaftler, die GPT-Neo, eine offene, frei verwendbare Version des Sprachmodells von OpenAI, entwickelt. Das Modell könnte bereits im August fertiggestellt sein, sagte Teammitglied Connor Leahy gegenüber The Batch.

Wie es funktioniert: Das Ziel ist es, die Geschwindigkeit und Leistung einer vollwertigen Version von GPT-3 mit 175 Milliarden Parametern anzupassen, wobei besonderes Augenmerk auf die Beseitigung sozialer Vorurteile gelegt wird. Das Team hat erfolgreich eine Version mit 1 Milliarde Parametern abgeschlossen und führt derzeit architektonische Experimente durch. • CoreWeave ist ein Anbieter von Cloud-Computing und bietet dem Projekt kostenlosen Zugang zur Infrastruktur. Schließlich plant man, Instanzen für zahlende Kunden zu hosten. • Der Trainingskorpus umfasst 825 GB Text. Neben etablierten Textdatensätzen enthält er IRC-Chatprotokolle, YouTube-Untertitel und Zusammenfassungen aus dem Archiv der medizinischen Forschung PubMed. • Das Team hat Wortpaarungen getestet und mithilfe von Sentiment-Analyse Daten zu Geschlecht, Religion und rassistischen Vorurteilen bewertet. Beispiele, die eine unakzeptabel hohe Verzerrung aufwiesen, wurden entfernt.

Quellen: https://www.eleuther.ai/projects/gpt-neo/?utm_campaign=The%20Batch&utm_medium=email&_hsmi=109400193&_hsenc=p2ANqtz-97S8QHC4I_gD5FOS4x1Kbemxu1-QOgYDK7ISGHv5FI0DCD8PUTp7MassDJNXr1aO6dHfbkD3TRsccIpLzA-5BMG0ZkAw&utm_content=109401005&utm_source=hs_email

https://pile.eleuther.ai/paper.pdf?utm_campaign=The%20Batch&utm_medium=email&_hsmi=109400193&_hsenc=p2ANqtz-8GfD5dSxg11QbzBCl0w-ZoJo35KrnM-mJNriVL8xDJVeaZWWK5d0XxNuIzaKuReGaqTJN9rzDFEYNuA66cntMoIbycqA&utm_content=109401005&utm_source=hs_email

Ursprünglich veröffentlicht auf Facebook — Link zum Beitrag