KI kann Fotos beschreiben!

Ich habe die bisher schwierigste Hausaufgabe in KI gemacht, die ich je hatte. Ein Modell zu erstellen und zu trainieren, das in der Lage ist, Textbeschreibungen aus Fotos zu generieren!

Die Architektur basiert auf einem CNN-Encoder und einem RNN-Decoder, mehr dazu hier: https://research.googleblog.com/…/a-picture-is-worth-thousa… und https://cs.stanford.edu/people/karpathy/

Das vortrainierte CNN-Netzwerk, das auf dem beliebten InceptionV3 basiert, hat in nur 10 Minuten die Beschreibungen gelernt. Es ist nicht perfekt, aber die Ergebnisse hauen mich trotzdem um! Urteilen Sie selbst.

Am Ende ein großes Dankeschön an Andreji Karpathy für seine großartige Forschung und an die Dozenten der russischen Schule, die das so schön vorbereitet haben.

Zur Information: Das Netzwerk hat die Beschreibungen aus vielen und vielen Beispielen gelernt, die Menschen mit Hilfe des mechanischen Türken eingegeben haben. Haben Sie schon davon gehört?