Detail publikace

TG2: text-guided transformer GAN for restoring document readability and perceived quality

KODYM Oldřich a HRADIŠ Michal. TG2: text-guided transformer GAN for restoring document readability and perceived quality. International Journal on Document Analysis and Recognition (IJDAR), roč. 2021, č. 1, s. 1-14. ISSN 1433-2825. Dostupné z: https://link.springer.com/article/10.1007/s10032-021-00387-z
Název česky
TG2: vylepšení čitelnosti digitalizovaných dokumentů pomocí modelů transformer GAN s přepisem
Typ
článek v časopise
Jazyk
angličtina
Autoři
Kodym Oldřich, Ing., Ph.D. (UPGM FIT VUT)
Hradiš Michal, Ing., Ph.D. (UPGM FIT VUT)
URL
Abstrakt

Většina metod vylepšení obrazu zaměřených na obnovu digitalizovaných textových dokumentů je omezena na případy, kdy je textová informace stále zachována ve vstupním obrazu, což často nemusí být splněno.
V této práci navrhujeme novou generativní metodu restaurování dokumentu, která umožňuje podmiňovat restaurování přepisem cílového textu a která nepotřebuje pro trénování spárované obrázky vysoké a nízké kvality. Představujeme architekturu neuronové sítě s implicitním modulem zarovnání textu na obrázek.
Metoda dosahuje dobrých výsledků v úlohách doplňování textu, debinarizace a odstranění rozmazání. Natrénované modely lze také použít k záměnám textu (editaci) v obrázcích dokumentů.
Uživatelská studie ukázala, že si lidští pozorovatelé pletou výstupy navrhované metody s referenčními vysoce kvalitními snímky až ve 30 % případů.

Rok
2021
Strany
1-14
Časopis
International Journal on Document Analysis and Recognition (IJDAR), roč. 2021, č. 1, ISSN 1433-2825
Kniha
International Journal on Document Analysis and Recognition
Vydavatel
Springer Verlag
DOI
10.1007/s10032-021-00387-z
UT WoS
000698372200001
EID Scopus
2-s2.0-85115335316
BibTeX 
@ARTICLE{FITPUB12333,
   author = "Old\v{r}ich Kodym and Michal Hradi\v{s}",
   title = "TG2: text-guided transformer GAN for restoring document readability and perceived quality",
   pages = "1--14",
   booktitle = "International Journal on Document Analysis and Recognition",
   journal = "International Journal on Document Analysis and Recognition (IJDAR)",
   volume = 2021,
   number = 1,
   year = 2021,
   publisher = "Springer Verlag",
   ISSN = "1433-2825",
   doi = "10.1007/s10032-021-00387-z",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/12333"
}
Nahoru