Detail práce

Integrace, vizualizace a dolování z dat zemí světa

Diplomová práce Student: Dušek Vladimír Akademický rok: 2021/2022 Vedoucí: Bartík Vladimír, Ing., Ph.D.
Název anglicky
Integration, Visualization, and Mining from Data of World Countries
Jazyk práce
český
Abstrakt

Tato práce se zabývá využitím otevřených dat o zemích celého světa, zejména dat v oblasti pokroku a kvality života. Cílem bylo navrhnout a implementovat webovou aplikaci pro prezentaci těchto dat a dále využít získaná data pro dolování znalostí. Integrace a zpracování dat z otevřených datových zdrojů byly realizovány pomocí platformy Apache Airflow. K vytvoření API byl využit Python framework FastAPI a k implementaci webové aplikace JavaScript knihovna ReactJS. V aplikaci jsou indikátory rozděleny do kategorií. Každý z nich lze zobrazit pro různé skupiny zemí, pro různá časová období a v několika vizualizacích. Z oblasti dolování znalostí bylo provedeno shlukování zemí na základě skupiny indikátorů a predikce budoucího vývoje vybraných indikátorů pomocí regresní analýzy. Výsledná aplikace je dostupná na adrese jakjsmenatom.cz.

Klíčová slova

Apache Airflow, ETL, FastAPI, ReactJS, PostgreSQL, analýza dat, databáze, datové sklady, dolování z dat, informační systémy, integrace dat, regrese, shlukování, vizualizace dat, webové aplikace, získávání znalostí z dat, zpracování dat

Ústav
Studijní program
Informační technologie a umělá inteligence, specializace Počítačové sítě
Soubory
Stav
obhájeno, hodnocení B
Obhajoba
20. června 2022
Oponent
Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky u obhajoby
  1. Jak často probíhá získávání dat, plnění (aktualizace) databáze a následné dolování z dat?
  2. Jak dlouho tyto aktivity celkově trvají a jak by bylo možné je optimalizovat?
  3. Proč není Apache Airflow nikde nasazeno?
  4. Z jakého důvodu se data nahrávají do Github?
  5. Provádí vaše prezentační webová stránka nějaké výpočty?
  6. Řekněte více k vašemu použití Apache Airflow.
  7. Používá vaše řešení fixní zdroje dat? Co by pro váš nástroj znamenalo přidání nového zdroje dat?
  8. Jak jste volil metody predikce pro jednotlivé datové zdroje a indikátory?
Komise
Ryšavý Ondřej, doc. Ing., Ph.D. (UIFS FIT VUT), předseda
Grégr Matěj, Ing., Ph.D. (UIFS FIT VUT), člen
Hrubý Martin, Ing., Ph.D. (UITS FIT VUT), člen
Matoušek Petr, doc. Ing., Ph.D., M.A. (UIFS FIT VUT), člen
Meduna Alexander, prof. RNDr., CSc. (UIFS FIT VUT), člen
Veselý Vladimír, Ing., Ph.D. (UIFS FIT VUT), člen
Citace
DUŠEK, Vladimír. Integrace, vizualizace a dolování z dat zemí světa. Brno, 2022. Diplomová práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2022-06-20. Vedoucí práce Bartík Vladimír. Dostupné z: https://www.fit.vut.cz/study/thesis/25103/
BibTeX
@mastersthesis{FITMT25103,
    author = "Vladim\'{i}r Du\v{s}ek",
    type = "Diplomov\'{a} pr\'{a}ce",
    title = "Integrace, vizualizace a dolov\'{a}n\'{i} z dat zem\'{i} sv\v{e}ta",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2022,
    location = "Brno, CZ",
    language = "czech",
    url = "https://www.fit.vut.cz/study/thesis/25103/"
}
Nahoru