Detail práce

Prořezávání hlubokých neuronových sítí pro rozpoznávání textu

Bakalářská práce Student: Petráš Simon Akademický rok: 2021/2022 Vedoucí: Kišš Martin, Ing.
Název anglicky
Deep Neural Network Pruning for Text Recognition
Jazyk práce
český
Abstrakt

Dokument predstavuje prácu na prerezávanie neurónovej siete slúžiacej na rozpoznávanie ručne písaného textu. Cieľom práce je vytvoriť program na prerezávanie danej siete. Prerezávali sme dva typy neurónových sieti a to konvolučné a rekurentné neurónové siete. Pri prerezávaní konvolučnej časti bolo experimentované s rôznymi kritériami výberu parametrov. Výsledkom práce je model, ktorý dosahuje 20% zrýchlenie pri znížení presnosti siete iba o 0.4%, ale aj množstvo iných modelov, ktoré sú rýchlejšie ale nadobúdajú aj vyššej nepresnosti.

Klíčová slova

Neurónové siete, CNN, RNN, Pytorch, OCR, prerezávanie

Ústav
Ústav počítačové grafiky a multimédií FIT VUT v Brně
Studijní program
Informační technologie
Soubory
Stav
obhájeno, hodnocení C
Obhajoba
14. června 2022
Oponent
Hradiš Michal, Ing., Ph.D.
Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C.

Otázky u obhajoby

  1. Při prořezávání se jde od začátku sítě? Statistiky pro prořezání filtrů (L1, L2, std) se počítají i z kanálů filtru, které již byly prořezané v předchozí vrstvě?

  2. Jak je důležité L1, L2, std, když na výstupy konvolučních vrstev jsou aplikovány normalizační vrstvy, které můžou každý kanál libovolně škálovat?

  3. Jaké je vaše vysvětlení nízké úspěšnosti sítí s prořezanými rekurentními vrstvami? Jak jsou v modelu tyto čtyři vrstvy propojené? Respektujete toto propojení při prořezávání?

Komise
Zemčík Pavel, prof. Dr. Ing. (UPGM FIT VUT), předseda
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Holík Lukáš, doc. Mgr., Ph.D. (UITS FIT VUT), člen
Martínek Tomáš, doc. Ing., Ph.D. (UPSY FIT VUT), člen
Matoušek Petr, doc. Ing., Ph.D., M.A. (UIFS FIT VUT), člen
Citace
PETRÁŠ, Simon. Prořezávání hlubokých neuronových sítí pro rozpoznávání textu. Brno, 2022. Bakalářská práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2022-06-14. Vedoucí práce Kišš Martin. Dostupné z: https://www.fit.vut.cz/study/thesis/24873/
BibTeX 
@bachelorsthesis{FITBT24873,
    author = "Simon Petr\'{a}\v{s}",
    type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
    title = "Pro\v{r}ez\'{a}v\'{a}n\'{i} hlubok\'{y}ch neuronov\'{y}ch s\'{i}t\'{i} pro rozpozn\'{a}v\'{a}n\'{i} textu",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2022,
    location = "Brno, CZ",
    language = "czech",
    url = "https://www.fit.vut.cz/study/thesis/24873/"
}

Závěrečné práce

Nahoru