Detail práce
Automated Identification of Graphical UI Elements for Robotic Quality Assurance
Tato práce se zabývá problematikou analýzy obrazovek grafického uživatelského rozhraní (GUI) pomocí konvolučních neuronových sítí (CNN) a metod počítačového vidění. Cílem této práce je vytvořit systém, který automaticky identifikuje GUI elementy na základě piktogramových a textových informací pro detekované prvky ve vstupním obrázku. K~vývoji systému byla použita kombinace EfficientNetB1 CNN, OCR a tradičních metod počítačového vidění. K trénování CNN byla použita vlastní datová sada, která obsahovala 120 tisíc piktogramů. Byl vytvořen sémantický slovník UI prvků, který dále využívá text detekovaný pomocí OCR. Nakonec byl vytvořen podsystém pro analýzu GUI hierarchie, který slouží k detekci a sémantické kategorizaci oblastí GUI. Výsledný systém automaticky klasifikuje detekované piktogramy, navrhuje další třídy na základě textu a rozděluje GUI obrazovku do hierarchických sekcí. Systém dosahuje 81,1% přesnosti identifikace UI prvků a v průměru zanalyzuje jednu obrazovku za 0,6 sekundy. Systém automatizuje identifikaci UI prvků, čímž umožňuje zaměstnancům věnovat se jiným činnostem. V budoucnu lze tento systém dále rozvíjet, aby sloužil jako základ pro automatické exploratorní testování.
identifikace UI prvků, identifikace objektů, EfficientNetB1, neuronové sítě, klasifikace obrázků, sémantická analýza grafického uživatelského rozhraní, počítačové vidění, strojové učení, sémantický slovník GUI prvků, OCR, Python, Keras, TensorFlow, OpenCV
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm C.
- Opravdu lze tvrdit, že systém, jako je ten váš, není možné vyhodnotit objektivně, není možné získat GT data a hodnocení musí být ruční a subjektivní?
- Nemohly by současné detektory založené na hlubokých CNN být v detekci a klasifikaci úspěšnější než konvenční nástroje pro vytipování míst v obraze a jejich následná klasifikace?
- Použitá síť EfficientNetB1 pracuje s obrázky 240x240. Typické výřezy, které má ve vaší práci klasifikovat, jsou zřejmě menší. Jaké je rozložený vašich výřezů? Nemohlo by být efektivnější použít síť, která by byla lépe přizpůsobená vašim datům?
Beran Vítězslav, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Čadík Martin, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Juránek Roman, Ing., Ph.D. (UPGM FIT VUT), člen
Křivka Zbyněk, Ing., Ph.D. (UIFS FIT VUT), člen
Milet Tomáš, Ing., Ph.D. (UPGM FIT VUT), člen
@mastersthesis{FITMT25178,
author = "Luk\'{a}\v{s} V\'{a}lek",
type = "Diplomov\'{a} pr\'{a}ce",
title = "Automated Identification of Graphical UI Elements for Robotic Quality Assurance",
school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
year = 2022,
location = "Brno, CZ",
language = "english",
url = "https://www.fit.vut.cz/study/thesis/25178/"
}