Detail práce
Distribuované zpracování dat o IP tocích
Tato práce se zabývá distribuovaným zpracování dat o IP tocích. Konkrétně je pak hlavním cílemposkytnutí řešení softwarového kolektoru, který bude umoţňovat zpracování a ukládání masivníhoobjemu dat. V rámci této práce je zkoumána volně dostupná implementace rámce pro distribuovanéukládání a výpočty nad daty Hadoop, která vyuţívá modelu MapReduce. Nad tímto systémem bylynásledně provedeny experimenty, jejichţ smyslem bylo získat představu o výkonnosti tohoto řešeníoproti řešením stávajícím a odhalit slabiny systému. Na základě získaných poznatků byla pakvytvořena specifikace a návrh rozšíření stávajícího softwarového kolektoru. Dle vytvořeného návrhunásledně vznikla implementace dotazovací části navrhovaného kolektoru, která se při distribuovanémzpracování dat o IP tocích jeví jako nejvíce kritická. Výsledky experimentů s touto implementacíukázaly výrazné zvýšení výkonu při dotazování a schopnost lineární škálovatelnosti na některýchtypech dotazů.
Distribuce, výpočet, úloţiště, databáze, MapReduce, Hadoop, Nfdump, IPFIX
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
- V práci je uvedeno srovnání navrženého řešení s programem NfDump a ukázána škálovatelnost na čtyřech počítačích. Jaké vidíte u navrženého řešení limity ve škálovatelnosti? Kde by vzniklo úzké místo navrženého systému?
- Plánuje se nasazení vytvořené implementace DistDump v produkční síti?
Balík Miroslav, Ing., Ph.D. (FIT ČVUT), člen
Burget Radek, doc. Ing., Ph.D. (UIFS FIT VUT), člen
Drábek Vladimír, doc. Ing., CSc. (UPSY FIT VUT), člen
Holík Lukáš, doc. Mgr., Ph.D. (UITS FIT VUT), člen
Matoušek Petr, doc. Ing., Ph.D., M.A. (UIFS FIT VUT), člen
@mastersthesis{FITMT17592, author = "Pavel Krobot", type = "Diplomov\'{a} pr\'{a}ce", title = "Distribuovan\'{e} zpracov\'{a}n\'{i} dat o IP toc\'{i}ch", school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}", year = 2015, location = "Brno, CZ", language = "czech", url = "https://www.fit.vut.cz/study/thesis/17592/" }