Nedávno se v kanadském Vancouveru konala konference Neural Information Processing Systems (NeurIPS), na které se shromáždilo více než 13 000 vědců z různých oborů. Jejich cílem bylo prozkoumat výstupy neuronových sítí a schopnost AI pomoci vyřešit velké problémy, které sužují skutečný svět.
Jedním z nejvýznamnějších účastníků byl Jeff Dean – vedoucí vývoje AI ve společnosti Google. „Existuje zjevně velmi široký prostor a mnoho možností pro využití strojového učení k řešení témat souvisejících se změnou klimatu.“ říká Jeff.
Pro mě je novinkou, že modely, které trénují v jejich datovém centru mají prý zanechávat nulovou uhlíkovou stopu‚ neboť veškeré využití energie má pocházet z obnovitelných zdrojů.
Nyní právě studuji architekturu modelu BERT a tak mě zaujalo jak Jeff odpovídá na to, jaký další model mohou AI experti očekávat. Jeff shrnuje, že algoritmy založené na transformátorech řeší stejný druh problému jako se dříve řešilo pomocí LSTM jen sofistikovaněji. Díky tomu můžete vyhledávat na Googlu efektivněji. Pak se Jeff konečně dostane k novým směrům vývoje. Usiluje o to, aby modely nefungovaly dobře jen na stovkách slov, ale aby udrželi kontext i u 10 000 slov. Druhou velkou oblastí výzkumu jsou dnes multimodální modely (ve kterých kombinujete text s obrázky, zvukem nebo videem). Dále si Jeff trochu povzdechl, že se lidé snaží spíše „tunit“ stávající modely než zkoušet objevit něco zcela jiného.
Pokud chcete vědět více, přečtěte si zde: https://venturebeat.com/…/mit-and-ibm-develop-ai-that-reco…/
