Kombinace rozpoznávání řeči a obličeje zlepšuje…

Výzkumníci spojili data rozpoznávání tváře a řeči, aby zlepšili schopnosti vnímání emocí AI.

Schopnost rozpoznávat emoce je dlouhodobým cílem výzkumníků AI. Přesné rozpoznání poskytuje věci, jako je únava za volantem, hněv, který může vést ke spáchání trestného činu, a dokonce i příznaky smutku / deprese v místech sebevraždy.

Nuance toho, jak lidé mluví a pohybují obličejovými svaly, aby vyjádřili svou náladu, představovaly výzvu. Podrobně v dokumentu (PDF) o společnosti Arxiv dosáhli vědci na Čínské univerzitě vědy a technologie v Che-fej určitý pokrok.

V článku vědci napsali:

Automatické rozpoznávání emocí (AER) je náročným úkolem z důvodu abstraktního pojetí a vícenásobného vyjádření emocí.

Inspirován tímto kognitivním procesem u lidí je přirozené používat zvukové a vizuální informace současně v AER… Celý proces lze dokončit v neuronové síti. “

Když proces prolomím, jak nejlépe umím, systém se skládá ze dvou částí: jedné pro vizuální efekty a druhé pro zvuk.

V případě videosystému procházejí snímky obličeje dvěma dalšími výpočetními vrstvami: základním algoritmem detekce obličeje a třemi sítěmi pro rozpoznávání tváře optimalizovanými pro „emoce“.

Pokud jde o zvukový systém, algoritmy, které zpracovávají zvuk, se zadávají pomocí řečových spektrogramů, aby pomohly modelu AI zaměřit se na oblasti, které jsou pro emoce nejdůležitější.

Věci, jako jsou měřitelné funkce, jsou extrahovány ze čtyř algoritmů rozpoznávání tváře videosystému a kombinovány s řečí vokálního oponenta, aby byly zachyceny vztahy mezi nimi pro konečnou předpověď sentimentu.

Databáze známá jako AFEW8.0 obsahuje filmy a televizní pořady používané pro sekundární výzvu EmotiW2018. AI byla napájena 653 odpovídajícími video a audio klipy ze své databáze.

V soutěži vedla umělá inteligence výzkumníků obdivuhodně a kolem 62,48 procenta vzduchu, což přesně určovalo, zda byly emoce „rozzlobené“, „nespokojené“, „vyděšené“, „šťastné“, „neutrální“, „smutné“ a „překvapené“.

Obecně umělá inteligence fungovala lépe na emoce s charakteristickými vlastnostmi, jako jsou „naštvaný“, „šťastný“ a „neutrální“. Ti, kteří měli více nuancí jako „znechucení“ a „překvapení“, bojovali nejvíce.

Máte zájem diskutovat o podobných tématech a jejich případech použití od lídrů v oboru? Chcete-li se dozvědět více, zúčastněte se společných autorizovaných akcí AI a Big Data Expo s nadcházejícími show v Silicon Valley, Londýně a Amsterdamu. Je umístěn na stejném místě jako IoT Tech Expo, Blockchain Expo a Cyber ​​Security & Cloud Expo.