Odhad emocí řečníka z mluvené řeči

Název anglicky

Emotion Detection from Speech

Jazyk práce

český

Abstrakt

Tato bakalářská práce se zabývá výzkumem v oblasti rozpoznávání emocí z řeči a okrajově i z dalších modalit (video a fyziologické záznamy). Popisuje topologii systémů, které byly pro tento výzkum postaveny. Dále popisuje experimenty s těmito systémy vedoucí k optimálnímu předzpracování, trénování a po-zpracování dat. K výzkumu jsou použita data z evaluace AV+EC 2015, do níž byly zaslány výsledky fúzních systému produkujících nejpřesnější predikci. Nově jsou v oblasti rozpoznávání emocí z řeči vyzkoušeny Bottle-Neck příznaky. Jsou použity spolu s běžně používanými eGeMAPS příznaky ve fúzním systému rozpoznávající emoční dimenzi arousal. Emoční dimenze valence je pak rozpoznávána dvojicí video příznaků. Multi-task systém (rozpoznávající valenci i arousal) používající Bottle-Neck příznaky produkuje výslekdy pouze o 13 % relativně horší, než zmíněný fúzní systém, což apeluje hlavně na situace, kde jsou dostupná pouze audio data.

Klíčová slova

Detekce emocí, audio, fúze, kontext, Bottle-Neck příznaky.

Ústav

Ústav počítačové grafiky a multimédií FIT VUT v Brně

Studijní program

Informační technologie

Soubory

Stav

obhájeno, hodnocení A

Obhajoba

15. června 2016

Oponent

Fér Radek, Ing.

Průběh obhajoby

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm výborně (A).

Otázky u obhajoby

- Jaké vás napadají jiné možnosti fúze multimodálních skóre s nespolehlivými výstupy (viz zmiňovaný nerozpoznaný obličej ve videu)?
- Jaké jsou možné matoucí vlivy pro rozpoznávání (jazyk nahrávky, kanál atp.)? Počítá se s nimi v systému?
- Jakým způsobem by se s pomocí vašeho systému mohl realizovat binární detektor jedné emoce, např. smutku?

Komise

Černocký Jan, prof. Dr. Ing. (UPGM FIT VUT), předseda
Bidlo Michal, doc. Ing., Ph.D. (UPSY FIT VUT), člen
Drahanský Martin, prof. Ing., Dipl.-Ing., Ph.D. (UITS FIT VUT), člen
Rychlý Marek, RNDr., Ph.D. (UIFS FIT VUT), člen
Španěl Michal, Ing., Ph.D. (UPGM FIT VUT), člen

Citace

POPKOVÁ, Anna. Odhad emocí řečníka z mluvené řeči. Brno, 2016. Bakalářská práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2016-06-15. Vedoucí práce Matějka Pavel. Dostupné z: https://www.fit.vut.cz/study/thesis/18675/

BibTeX

@bachelorsthesis{FITBT18675,
    author = "Anna Popkov\'{a}",
    type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
    title = "Odhad emoc\'{i} \v{r}e\v{c}n\'{i}ka z mluven\'{e} \v{r}e\v{c}i",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2016,
    location = "Brno, CZ",
    language = "czech",
    url = "https://www.fit.vut.cz/study/thesis/18675/"
}