Detail práce

Neuronové sítě typu Transformer pro přepis ručně psaného textu

Diplomová práce Student: Vešelíny Peter Akademický rok: 2021/2022 Vedoucí: Kohút Jan, Ing.
Jazyk práce
slovenský
Abstrakt

Cieľom tejto práce je navrhnúť systém používajúci sieť typu transformer a uskutočniť s touto sieťou experimenty pri rozpoznávaní ručne písaného textu. V rámci práce sa používa multilingválna dátová sada, v ktorej prevažujú české texty. Pri experimentovaní sa zisťuje vplyv základných hyperparametrov siete, akými sú veľkosť siete, typ konvolučného kodéra a použitie rôznej tokenizácie textu. V práci ďalej využívam textové korpusy českého jazyka, ktoré sa používajú pri trénovaní dekódera. Ďalej v práci experimentujem s použitím dodatočnej textovej informácie pri procese dekódovania. Táto informácia pochádza z predchádzajúceho riadka prepisovaného obrázka s textom. Transformer dosahuje na testovacej dátovej sade chybovosť pri rozpoznávní znakov 3,41 %, čo je o 0,16 % horší výkon ako dosahuje rekurentná neurónová sieť. Pre porovnanie s ostatnými transformer modelmi z dostupných článkov, bola sieť natrénovaná na dátovej sade IAM, na ktorej dosiahla chybu v hodnote 2,48 %, a tým prekonala ostatné transformer modely pri rozpoznávaní ručne písaného textu.

Klíčová slova

rozpoznávanie textu, ručne písaný text, neurónové siete, attention, transformer, textový korpus

Ústav
Ústav počítačové grafiky a multimédií FIT VUT v Brně
Studijní program
Informační technologie a umělá inteligence, specializace Strojové učení
Soubory
Stav
obhájeno, hodnocení B
Obhajoba
21. června 2022
Oponent
Beneš Karel, Ing.
Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Komise
Černocký Jan, prof. Dr. Ing. (UPGM FIT VUT), předseda
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Češka Milan, doc. RNDr., Ph.D. (UITS FIT VUT), člen
Hradiš Michal, Ing., Ph.D. (UPGM FIT VUT), člen
Rozman Jaroslav, Ing., Ph.D. (UITS FIT VUT), člen
Zbořil František V., doc. Ing., CSc. (UITS FIT VUT), člen
Citace
VEŠELÍNY, Peter. Neuronové sítě typu Transformer pro přepis ručně psaného textu. Brno, 2022. Diplomová práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2022-06-21. Vedoucí práce Kohút Jan. Dostupné z: https://www.fit.vut.cz/study/thesis/24792/
BibTeX 
@mastersthesis{FITMT24792,
    author = "Peter Ve\v{s}el\'{i}ny",
    type = "Diplomov\'{a} pr\'{a}ce",
    title = "Neuronov\'{e} s\'{i}t\v{e} typu Transformer pro p\v{r}epis ru\v{c}n\v{e} psan\'{e}ho textu",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2022,
    location = "Brno, CZ",
    language = "slovak",
    url = "https://www.fit.vut.cz/study/thesis/24792/"
}

Závěrečné práce

Nahoru