Vor kurzem fand in Vancouver, Kanada, die Konferenz Neural Information Processing Systems (NeurIPS) statt

Vor kurzem fand in Vancouver, Kanada, die Konferenz Neural Information Processing Systems (NeurIPS) statt, auf der sich mehr als 13.000 Wissenschaftler aus verschiedenen Bereichen versammelten. Ihr Ziel war es, die Ausgaben neuronaler Netze und die Fähigkeit der KI zu untersuchen, große Probleme zu lösen, die die reale Welt plagen.

Einer der bedeutendsten Teilnehmer war Jeff Dean – Leiter der KI-Entwicklung bei Google. „Es gibt offensichtlich einen sehr breiten Raum und viele Möglichkeiten, maschinelles Lernen zur Lösung von Themen im Zusammenhang mit dem Klimawandel zu nutzen“, sagt Jeff.

Für mich ist neu, dass die Modelle, die in ihrem Rechenzentrum trainiert werden, angeblich eine Null-Kohlenstoffbilanz hinterlassen, da der gesamte Energieverbrauch aus erneuerbaren Quellen stammen soll.

Ich studiere gerade die Architektur des BERT-Modells und war daher interessiert, wie Jeff auf die Frage antwortet, welches andere Modell die KI-Experten erwarten können. Jeff fasst zusammen, dass Algorithmen, die auf Transformatoren basieren, dieselbe Art von Problemen lösen, die früher mit LSTM angegangen wurden, jedoch auf eine ausgeklügeltere Weise. Dadurch kann man effizienter bei Google suchen. Dann kommt Jeff schließlich zu neuen Entwicklungsrichtungen. Er strebt an, dass Modelle nicht nur bei Hunderten von Wörtern gut funktionieren, sondern auch den Kontext bei 10.000 Wörtern beibehalten. Ein weiteres großes Forschungsgebiet sind heute multimodale Modelle (bei denen Text mit Bildern, Ton oder Video kombiniert wird). Außerdem seufzte Jeff ein wenig, dass die Menschen eher versuchen, bestehende Modelle zu „tunen“, als etwas völlig Neues zu entdecken.

Wenn Sie mehr erfahren möchten, lesen Sie hier:

Ursprünglich auf Facebook veröffentlicht — Link zum Beitrag