Ukládání a zpracování dat v systému Validovaného datového úložiště

Spolehlivé a dobře škálovatelné softwarové řešení v dnešní době vyžaduje nasazení v distribuovaném prostředí, kdy se výsledný systém skládá z více samostatný počítačů komunikujících prostřednictvím sítě, jak je tomu např. u technologie cloud computing. Distribuované ukládání a zpracování dat však přináší řadu návrhových i technických problémů. V tomto dokumentu popisujeme návrh a implementaci nového distribuovaného řešení, které umožňuje ukládat dokumenty, indexovat a prohledávat jejich obsah a popis (data a metadata) a aplikovat metody dolování z dat pro získání dodatečných znalostí. Výsledný systém je základem jádra systému Validovaného datového úložiště.

A reliable and scalable software solution nowadays requires deployment in a distributed environment, where the resulting system consists of multiple stand-alone computers communicating over a network, as is the case of cloud-computing technology. However, distributed data storage and processing presents a number of design and technical problems. In this document, we describe the design and implementation of a new distributed solution that allows to store documents, index and search their content and description (both data and metadata), and apply data mining methods to gain additional knowledge. The resulting system is a foundation of the core of the Validated Data Storage system.