Hodnocení neurčitosti predikcí neuronových sítí v úlohách klasifikace, detekce a segmentace

Název anglicky

Assessment of Uncertainty of Neural Net Predictions in the Tasks of Classification, Detection and Segmentation

Jazyk práce

český

Abstrakt

Tato práce se zaměřuje na porovnání tří široce používaných metod pro zlepšení odhadů neurčitosti: hlubokých ansámlů, monte carlo dropout a temperature scaling. Tyto metody jsou aplikovány na šest modelů pro počítačové vidění, mezi nimiž jsou předtrénované modely i modely trénované od nuly. Tyto modely jsou hodnoceny na datasetech počítačového vidění pro úlohy klasifikace, sémantické segmentace a detekce objektů, při použití široké škály metrik. Modely jsou rovněž evaluovány na transformovaných datasetech, kvůli jejich ohodnocení na datech mimo trénovací distribuci. Tyto modifikované modely dosahují slibných výsledků. Ansámbly překonávají ostatní modely až o 70 % v přesnosti a o 0.2 v IOU na transformovaném segmentačním datasetuMedSeg COVID-19 a zároveň překonávají ostatní modely na datasetech CIFAR-100 a FMNIST.

Klíčová slova

monte carlo dropout, hluboké ansámbly, temperature scaling, klasifikace, sémantická segmentace, detekce objektů, posunutí datasetu, kalibrace modelů, FMNIST, CIFAR-100, PASCAL-VOC

Ústav

Ústav počítačové grafiky a multimédií FIT VUT v Brně

Studijní program

Informační technologie

Soubory

Stav

obhájeno, hodnocení A

Obhajoba

13. června 2022

Oponent

Kohút Jan, Ing.

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Otázky u obhajoby

Umožňují metody pro hodnocení neurčitosti predikcí neuronových sítí lépe detekovat data, které nejsou součástí cílové domény (outliers)?
Proč se při trénování parametru T, u metody Temperature Scaling, používá oddělená trénovací sada?

Komise

Herout Adam, prof. Ing., Ph.D. (UPGM FIT VUT), předseda
Beran Vítězslav, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Burget Radek, doc. Ing., Ph.D. (UIFS FIT VUT), člen
Fučík Otto, doc. Dr. Ing. (UPSY FIT VUT), člen
Holík Lukáš, doc. Mgr., Ph.D. (UITS FIT VUT), člen

Citace

VLASÁK, Jiří. Hodnocení neurčitosti predikcí neuronových sítí v úlohách klasifikace, detekce a segmentace. Brno, 2022. Bakalářská práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2022-06-13. Vedoucí práce Herout Adam. Dostupné z: https://www.fit.vut.cz/study/thesis/25039/

BibTeX

@bachelorsthesis{FITBT25039,
    author = "Ji\v{r}\'{i} Vlas\'{a}k",
    type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
    title = "Hodnocen\'{i} neur\v{c}itosti predikc\'{i} neuronov\'{y}ch s\'{i}t\'{i} v \'{u}loh\'{a}ch klasifikace, detekce a segmentace",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2022,
    location = "Brno, CZ",
    language = "czech",
    url = "https://www.fit.vut.cz/study/thesis/25039/"
}