Einige interessante Fakten aus der aktuellen Welt der KI
Wir haben ein neues Modell, das außergewöhnlich universell ist – GATO. Dieser Transformer für RL multimodales Multi-Task-Training von DeepMind. Das einzige Modell, das…
Wir haben ein neues Modell, das außergewöhnlich universell ist – GATO. Dieser Transformer für RL multimodales Multi-Task-Training von DeepMind. Das einzige Modell, das Atari-Spiele spielen, Bilder beschreiben, mit Menschen chatten, eine reale Roboterhand steuern und weitere Aufgaben lösen kann! Dieser Transformer/Agent überrascht mit seiner Universalisierung.
Im April habe ich über den erstaunlichen Bildgenerator DALLE-2 geschrieben. Nun kommt die Konkurrenz von Imagen von Google. Es gibt tatsächlich etwas mehr Konkurrenz.
Ich mache gerade eines der Schulungen zu Transformatoren von Lazy Programmer (veröffentlicht letzten Monat), wo sie klassisch damit beginnen, Transformatoren über RNN zu glorifizieren, wie überall (schon zum hundertfünfzigsten Mal „geklauter“ Paper Attention Is All You Need). RNN sollen angeblich viel schlechter sein als Transformatoren, da sie keine Aufmerksamkeit haben und nicht parallel berechnet werden können. Jetzt taucht jedoch der unabhängige Forscher BlinkDL auf, der behauptet, dass seine RNN das Beste aus RNN und Transformatoren kombinieren – hervorragende Leistung, schnelles Training, VRAM-Einsparungen usw.
Es gab eine interessante Diskussion auf Reddit darüber, wie wir den Papers aus großen Laboren vertrauen können. Der Autor argumentiert, dass erfahrene Ingenieure heutzutage oft nur nach Wegen suchen, um jede Promille Leistung herauszuholen, damit die Ergebnisse in den Papers gut aussehen, anstatt bahnbrechende Methoden zu entwickeln. Er demonstriert dies, indem er zeigt, wie sie mit dem CIFAR-10-Dataset eine Genauigkeit von 99,43 (gegenüber dem vorherigen 99,40) erreicht haben. Sie verwendeten dafür ziemlich interessante evolutionäre Algorithmen, aber die Berechnung des Modells dauerte 17.810 TPU-Kernstunden. Zum Vergleich: Uns würde das in der Cloud etwa 1.350.000 CZK kosten, und das Ergebnis ist eine Verbesserung um 0,03 %.
Quellen:
https://pub.towardsai.net/deepminds-new-model-gato-is-amazing-57cc8ea48772
Parallelisierbares RNN: https://www.reddit.com/r/MachineLearning/comments/umq908/r_rwkvv2rnn_a_parallelizable_rnn_with/
Ich glaube wirklich nicht mehr an Papers aus „Top Labs“: https://www.reddit.com/r/MachineLearning/comments/uyratt/d_i_dont_really_trust_papers_out_of_top_labs/
Attention Is All You Need: https://arxiv.org/abs/1706.03762?fbclid=IwAR2BGE99naTPvNyZ0EcikOnvlAbAIJ7566H4g6xQpCsT2uilK5kEwWk5rpA
Původní zdroj: wordpress