Detail práce
Integrace, vizualizace a dolování z dat zemí světa
Tato práce se zabývá využitím otevřených dat o zemích celého světa, zejména dat v oblasti pokroku a kvality života. Cílem bylo navrhnout a implementovat webovou aplikaci pro prezentaci těchto dat a dále využít získaná data pro dolování znalostí. Integrace a zpracování dat z otevřených datových zdrojů byly realizovány pomocí platformy Apache Airflow. K vytvoření API byl využit Python framework FastAPI a k implementaci webové aplikace JavaScript knihovna ReactJS. V aplikaci jsou indikátory rozděleny do kategorií. Každý z nich lze zobrazit pro různé skupiny zemí, pro různá časová období a v několika vizualizacích. Z oblasti dolování znalostí bylo provedeno shlukování zemí na základě skupiny indikátorů a predikce budoucího vývoje vybraných indikátorů pomocí regresní analýzy. Výsledná aplikace je dostupná na adrese jakjsmenatom.cz.
Apache Airflow, ETL, FastAPI, ReactJS, PostgreSQL, analýza dat, databáze, datové sklady, dolování z dat, informační systémy, integrace dat, regrese, shlukování, vizualizace dat, webové aplikace, získávání znalostí z dat, zpracování dat
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
- Jak často probíhá získávání dat, plnění (aktualizace) databáze a následné dolování z dat?
- Jak dlouho tyto aktivity celkově trvají a jak by bylo možné je optimalizovat?
- Proč není Apache Airflow nikde nasazeno?
- Z jakého důvodu se data nahrávají do Github?
- Provádí vaše prezentační webová stránka nějaké výpočty?
- Řekněte více k vašemu použití Apache Airflow.
- Používá vaše řešení fixní zdroje dat? Co by pro váš nástroj znamenalo přidání nového zdroje dat?
- Jak jste volil metody predikce pro jednotlivé datové zdroje a indikátory?
Grégr Matěj, Ing., Ph.D. (UIFS FIT VUT), člen
Hrubý Martin, Ing., Ph.D. (UITS FIT VUT), člen
Matoušek Petr, doc. Ing., Ph.D., M.A. (UIFS FIT VUT), člen
Meduna Alexander, prof. RNDr., CSc. (UIFS FIT VUT), člen
Veselý Vladimír, Ing., Ph.D. (UIFS FIT VUT), člen
@mastersthesis{FITMT25103, author = "Vladim\'{i}r Du\v{s}ek", type = "Diplomov\'{a} pr\'{a}ce", title = "Integrace, vizualizace a dolov\'{a}n\'{i} z dat zem\'{i} sv\v{e}ta", school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}", year = 2022, location = "Brno, CZ", language = "czech", url = "https://www.fit.vut.cz/study/thesis/25103/" }