V poslední době se staly populární sítě založené na pozornosti, jako je Vision Transformer. V příspěvku týmu Google Research Brain skupina vědců představila MLP-Mixer, architekturu založenou výhradně na vícevrstvých perceptronech (MLP). MLP-Mixer obsahuje dva typy vrstev: jednu s MLP aplikovanými nezávislou na image patches (tj. „Míchání“ funkcí podle místa) a druhou s MLP across patches (tj. „Míchání“ prostorových informací). Když byly MLP-Mixer vyškoleni na velkých datasetech, dosáhli podobných výsledků jako nejnovější modely. Skupina vědců doufá, že tyto výsledky podnítí další výzkum nad rámec dobře zavedených CNN a transformátorů.
Related Posts
23 listopadu, 2020
Znáte CZ podcast?
30 ledna, 2023