Tým Google Research Brain představil novou architekturu pro počítačové vidění MLP-Mixer

V poslední době se staly populární sítě založené na pozornosti, jako je Vision Transformer. V příspěvku týmu Google Research Brain skupina vědců představila MLP-Mixer, architekturu založenou výhradně na vícevrstvých perceptronech (MLP). MLP-Mixer obsahuje dva typy vrstev: jednu s MLP aplikovanými nezávislou na image patches (tj. „Míchání“ funkcí podle místa) a druhou s MLP across patches (tj. „Míchání“ prostorových informací). Když byly MLP-Mixer vyškoleni na velkých datasetech, dosáhli podobných výsledků jako nejnovější modely. Skupina vědců doufá, že tyto výsledky podnítí další výzkum nad rámec dobře zavedených CNN a transformátorů.

Zdroj: https://arxiv.org/pdf/2105.01601.pdf