Neural Networks for Automatic Table Recognition

Název česky

Automatické rozpoznávání tabulek pomocí neuronových sítí

Jazyk práce

anglický

Abstrakt

Tato práce seznamuje čtenáře se současnými technikami rozpoznávání tabulek, které se používají především k získávání informací z ručně psaných nebo tištěných historických tabulek. Představujeme také metodu založenou na grafové neuronové síti, která je inspirována představenými přístupy. Metoda se skládá ze tří fází: fáze inicializace grafu, fáze klasifikace uzlů/hran a fáze transformace grafu na text. Ve fázi inicializace grafu používáme algoritmus viditelnosti uzlů a OCR k vytvoření počáteční grafové reprezentace vstupní tabulky. Ve fázi klasifikace uzlů a hran jsou uzly a hrany klasifikovány a ve fázi transformace grafu na text zarovnáváme uzly grafu do mřížky, která je pak použita k vytvoření konečné textové reprezentace tabulky. Náš implementovaný model byl schopen dosáhnout přesnosti 68 % u detekce horizontálních sousedů, přesnosti 71 % u detekce vertikálních sousedů a přesnosti 83 % u detekce buněk na datové sadě ABP.

Klíčová slova

rozpoznávání tabulek, grafové neuronové sítě, neuronová síť Transformer, nalezení hran, nalezení uzlů, opticke rozpoznávání znaků, inicializace grafu, hodnocení rozpoznávání tabulek

Ústav

Ústav počítačové grafiky a multimédií FIT VUT v Brně

Studijní program

Informační technologie a umělá inteligence, specializace Počítačové vidění

Soubory

Stav

obhájeno, hodnocení A

Obhajoba

20. června 2022

Oponent

Španěl Michal, Ing., Ph.D.

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Otázky u obhajoby

Jak byly trénovány CNN pro extrakci vizuálních příznaků pro buňky a hrany? Využíváte nějak informaci o klasifikaci buněk z trénovacích dat?
Výstupy OCR využíváte jako vstup Vaší metody i pro tvorbu ground truth anotací. Jak kvalitní jsou výstupy OCR a jaký mají dopad na přesnost rozpoznání tabulek? Zvládá kupříkladu vertikální text? Jak si poradí s textem přetékajícím do sousedních buněk?
Dle tabulky 6.2 se zdá, že detekce strukturovaných záhlaví je problematická a síť buňky záhlaví klasifikuje jako datové. Zvažoval jste řešení pro tento problém?
Problematická je i detekce prázdných buňek. Jsou prázdné buňky významné pro další zpracování rozpoznaných tabulek? Jak by vypadaly výsledky Vaší metody, pokud byste prázdné buňky při výpočtu metrik vyloučil?

Komise

Zemčík Pavel, prof. Dr. Ing. (UPGM FIT VUT), předseda
Beran Vítězslav, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Čadík Martin, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Juránek Roman, Ing., Ph.D. (UPGM FIT VUT), člen
Křivka Zbyněk, Ing., Ph.D. (UIFS FIT VUT), člen
Milet Tomáš, Ing., Ph.D. (UPGM FIT VUT), člen

Citace

PIWOWARSKI, Lukáš. Neural Networks for Automatic Table Recognition. Brno, 2022. Diplomová práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2022-06-20. Vedoucí práce Hradiš Michal. Dostupné z: https://www.fit.vut.cz/study/thesis/24864/

BibTeX

@mastersthesis{FITMT24864,
    author = "Luk\'{a}\v{s} Piwowarski",
    type = "Diplomov\'{a} pr\'{a}ce",
    title = "Neural Networks for Automatic Table Recognition",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2022,
    location = "Brno, CZ",
    language = "english",
    url = "https://www.fit.vut.cz/study/thesis/24864/"
}