Distribuované zpracování a analýza dat ze sociálních sítí - Návrh a implementace distribuované architektury

Současné metody rekonstrukce a forenzní analýzy aktivity uživatelů se zaměřují prakticky výhradně na analýzu lokáních počítačů. Stále rostoucí popularita sociálních sítí ale způsobuje, že se stále více aktivit přesouvá právě na sociální sítě. Je proto nezbytné rozšířit analyzovanou časovou osu i o informace o aktivitách na sociálních sítích. V takovém případě je však nutné analyzovat velké množství zdrojů (např. profilů na sociálních sítích) a tedy získat a dále zpracovat velké množství dat. Je tedy nutné navrhnout škálovatelné řešení jak pro získávání, tak pro další analýzu dat ze sociálních sítí. V této technické zprávě se zaměřujeme na analýzu existujících modelů časové osy, existujících souvisejících softwarových řešení pro distribuované zpracování velkého množství dat a zejména na návrh architektury nástroje pro rekonstrukci a analýzu časové osy v distribuovaném prostředí. Rovněž se zabýváme implementací navrženého nástroje na platformě Apache Hadoop.

Current methods of reconstruction and forensic analysis of user activity focus almost exclusively on local computer analysis. However, the increasing popularity of social networks causes more and more activities to be transferred to social networks. It is therefore necessary to extend the analyzed timeline to include information on activities on social networks. In such a case, however, it is necessary to analyze a large amount of resources (e.g. social network profiles) and thus obtain and further process a large amount of data. It is therefore necessary to propose a scalable solution for both acquiring and further analyzing social network data. In this technical report, we focus on analyzing existing timeline models, existing related software solutions for distributed large amounts of data processing, and in particular the design of a tool for reconstructing and analyzing timeline in a distributed environment. We also deal with the implementation of the proposed tool on the Apache Hadoop platform.