Werden Sprachmodelle kostenlos sein?
Das Ziel des Forschungsteams von EleutherAI ist es, einen Klon von GPT-3 zu erstellen, der für alle kostenlos verfügbar ist! EleutherAI ist eine freie Gruppe unabhängiger Wissenschaftler, die GPT-Neo entwickelt,…
Das Ziel des Forschungsteams von EleutherAI ist es, einen Klon von GPT-3 zu erstellen, der für alle kostenlos verfügbar ist!
EleutherAI ist eine freie Gruppe unabhängiger Wissenschaftler, die GPT-Neo, eine offene, frei verwendbare Version des Sprachmodells von OpenAI, entwickelt. Das Modell könnte bereits im August fertig sein, sagte Teammitglied Connor Leahy gegenüber The Batch.
Wie es funktioniert: Das Ziel ist es, die Geschwindigkeit und Leistung einer vollwertigen Version von GPT-3 mit 175 Milliarden Parametern anzupassen, wobei besonderes Augenmerk auf die Beseitigung sozialer Vorurteile gelegt wird. Das Team hat erfolgreich eine Version mit 1 Milliarde Parametern abgeschlossen und führt nun architektonische Experimente durch.
• CoreWeave ist ein Anbieter von Cloud-Computing, der dem Projekt kostenlosen Zugang zur Infrastruktur gewährt. Letztendlich plant man, Instanzen für zahlende Kunden zu hosten.
• Der Trainingskorpus umfasst 825 GB Text. Neben etablierten Textdatensätzen enthält er IRC-Chatprotokolle, YouTube-Untertitel und Zusammenfassungen aus dem Archiv medizinischer Forschung von PubMed.
• Das Team hat Wortpaarungen getestet und mithilfe von Sentiment-Analyse Daten zu Geschlecht, Religion und rassistischen Vorurteilen bewertet. Beispiele, die eine unakzeptabel hohe Verzerrung aufwiesen, wurden entfernt.
Původní zdroj: wordpress