Detail práce

Distribuované zpracování dat o IP tocích

Diplomová práce Student: Krobot Pavel Akademický rok: 2014/2015 Vedoucí: Žádník Martin, Ing., Ph.D.
Název anglicky
Distributed Processing of IP flow Data
Jazyk práce
český
Abstrakt

Tato práce se zabývá distribuovaným zpracování dat o IP tocích. Konkrétně je pak hlavním cílemposkytnutí řešení softwarového kolektoru, který bude umoţňovat zpracování a ukládání masivníhoobjemu dat. V rámci této práce je zkoumána volně dostupná implementace rámce pro distribuovanéukládání a výpočty nad daty Hadoop, která vyuţívá modelu MapReduce. Nad tímto systémem bylynásledně provedeny experimenty, jejichţ smyslem bylo získat představu o výkonnosti tohoto řešeníoproti řešením stávajícím a odhalit slabiny systému. Na základě získaných poznatků byla pakvytvořena specifikace a návrh rozšíření stávajícího softwarového kolektoru. Dle vytvořeného návrhunásledně vznikla implementace dotazovací části navrhovaného kolektoru, která se při distribuovanémzpracování dat o IP tocích jeví jako nejvíce kritická. Výsledky experimentů s touto implementacíukázaly výrazné zvýšení výkonu při dotazování a schopnost lineární škálovatelnosti na některýchtypech dotazů.

Klíčová slova

Distribuce, výpočet, úloţiště, databáze, MapReduce, Hadoop, Nfdump, IPFIX

Ústav
Studijní program
Informační technologie, obor Bezpečnost informačních technologií
Stav
obhájeno, hodnocení A
Obhajoba
19. června 2015
Oponent
Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Otázky u obhajoby
  1. V práci je uvedeno srovnání navrženého řešení s programem NfDump a ukázána škálovatelnost na čtyřech počítačích. Jaké vidíte u navrženého řešení limity ve škálovatelnosti? Kde by vzniklo úzké místo navrženého systému?
  2. Plánuje se nasazení vytvořené implementace DistDump v produkční síti?
Komise
Hanáček Petr, doc. Dr. Ing. (UITS FIT VUT), předseda
Balík Miroslav, Ing., Ph.D. (FIT ČVUT), člen
Burget Radek, doc. Ing., Ph.D. (UIFS FIT VUT), člen
Drábek Vladimír, doc. Ing., CSc. (UPSY FIT VUT), člen
Holík Lukáš, doc. Mgr., Ph.D. (UITS FIT VUT), člen
Matoušek Petr, doc. Ing., Ph.D., M.A. (UIFS FIT VUT), člen
Citace
KROBOT, Pavel. Distribuované zpracování dat o IP tocích. Brno, 2015. Diplomová práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2015-06-19. Vedoucí práce Žádník Martin. Dostupné z: https://www.fit.vut.cz/study/thesis/17592/
BibTeX
@mastersthesis{FITMT17592,
    author = "Pavel Krobot",
    type = "Diplomov\'{a} pr\'{a}ce",
    title = "Distribuovan\'{e} zpracov\'{a}n\'{i} dat o IP toc\'{i}ch",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2015,
    location = "Brno, CZ",
    language = "czech",
    url = "https://www.fit.vut.cz/study/thesis/17592/"
}
Nahoru