Einige interessante Fakten aus der aktuellen Welt der KI.

Einige interessante Fakten aus der aktuellen Welt der KI. Wir haben ein neues Modell, das außergewöhnlich universell ist – GATO. Dieser Transformer für RL multimodales Multi-Task-Lernen von Deepmind. Das einzige Modell, das Atari-Spiele spielen, Bilder beschreiben, mit Menschen chatten, eine reale Roboterhand steuern und weitere Aufgaben lösen kann! Dieser Transformer/Agent überrascht mit seiner Universalität.

Im April habe ich über den erstaunlichen Bildgenerator DALLE-2 geschrieben. Nun kommt seine Konkurrenz von der Firma Imagen von Google. Es gibt tatsächlich etwas mehr Konkurrenz.

Ich mache gerade eines der Schulungen zu Transformatoren von Lazy Programmer (veröffentlicht letzten Monat), wo sie klassisch damit beginnen, Transformatoren über RNN zu glorifizieren, wie überall (schon zum hundertfünfzigsten Mal „geklauter“ Paper Attention Is All You Need). RNN sind angeblich viel schlechter als Transformatoren, da sie keine Aufmerksamkeit haben und nicht parallel berechnet werden können. Jetzt taucht jedoch ein unabhängiger Forscher namens BlinkDL auf, der behauptet, dass seine RNN das Beste aus RNN und Transformatoren kombinieren – großartige Leistung, schnelles Training, VRAM-Einsparung usw.

Es gab eine interessante Diskussion auf Reddit darüber, wie wir den Papers aus großen Laboren vertrauen können. Der Autor argumentiert, dass erfahrene Ingenieure derzeit oft nur nach Wegen suchen, um jede Promille Leistung herauszuholen, damit die Ergebnisse in den Papers gut aussehen, anstatt mit bahnbrechenden Methoden zu kommen. Er demonstriert dies, indem er zeigt, wie sie im CIFAR-10-Datensatz eine Genauigkeit von 99,43 (gegenüber vorherigen 99,40) erzielt haben. Sie verwendeten dazu ziemlich interessante evolutionäre Algorithmen, aber die Berechnung des Modells dauerte 17.810 TPU-Kernstunden. Zum Vergleich: Uns würde das in der Cloud etwa 1.350.000 CZK kosten und das Ergebnis ist eine Verbesserung von 0,03%.

Quellen: GATO: https://www.deepmind.com/publications/a-generalist-agent https://pub.towardsai.net/deepminds-new-model-gato-is-amazing-57cc8ea48772

Paralleles RNN: https://www.reddit.com/r/MachineLearning/comments/umq908/r_rwkvv2rnn_a_parallelizable_rnn_with/

Ich glaube wirklich nicht mehr an Papers aus "Top Labs": https://www.reddit.com/r/MachineLearning/comments/uyratt/d_i_dont_really_trust_papers_out_of_top_labs/

Attention Is All You Need: https://arxiv.org/abs/1706.03762

Ursprünglich veröffentlicht auf Facebook — Link zum Post