Detail výsledku
Box clustering segmentation: A new method for vision-based web page preprocessing
Burget Radek, doc. Ing., Ph.D., UIFS (FIT)
Zendulka Jaroslav, doc. Ing., CSc., UIFS (FIT)
This paper presents a novel approach to web page segmentation, which is one of substantial preprocessing steps when mining data from web documents. Most of the currentsegmentation methods are based on algorithms that work on a tree representation of webpages (DOM tree or a hierarchical rendering model) and produce another tree structure asan output.In contrast, our method uses a rendering engine to get an image of the web page,takes the smallest rendered elements of that image, performs clustering using a customalgorithm and produces a flat set of segments of a given granularity. For the clusteringmetrics, we use purely visual properties only: the distance of elements and their visualsimilarity.We experimentally evaluate the properties of our algorithm by processing 2400 webpages. On this set of web pages, we prove that our algorithm is almost 90% faster than thereference algorithm. We also show that our algorithm accuracy is between 47% and 133%of the reference algorithm accuracy with indirect correlation of our algorithms accuracyto the depth of inspected page structure. In our experiments, we also demonstrate theadvantages of producing a flat segmentation structure instead of an hierarchy.
box clustering, graph clustering, vision-based page segmentation, VIPS
Segmentace webových stránek je jedním z nezbytných přípravných kroků při automatizovaném zpracování obsahu webových dokumentů. Jejím cílem je identifikace základních vizuálních bloků ve stránce, jejichž obsah může být dále samostatně analyzován (např. záhlaví, hlavní obsah, reklama, apod.) Současné přístupy jsou založeny buď na analýze programového kódu stránky, která však dává pouze přibližné výsledky, nebo na analýze vizuální podoby výsledné stránky, což je časově velmi náročná úloha.
Článek prezentuje nový přístup k segmentaci webových stránek. Na rozdíl od běžně dostupných současných metod, které pracují nad stromovým modelem stránky a produkují opět stromovou strukturu na výstupu, popisovaná metoda je založena na shlukování atomických částí obsahu a vytváří plochý segmentační model. Experimentální výsledky ukazují, že metoda je téměř o 90 % rychlejší, než srovnatelné existující přístupy.
Publikovaná metoda používá jádro běžného webového prohlížeče k získání obrazu webové stránky. Uvažuje nejmenší vykreslené prvky získaného obrazu, provede shlukování pomocí vlastního algoritmu a vytvoří seznam detekovaných segmentů dané velikosti (granularity). Jako shlukovací metriky používáme pouze vizuální vlastnosti: vzdálenost prvků a jejich vizuální podobnost. Experimentálně vyhodnocujeme vlastnosti našeho algoritmu zpracováním 2400 webových stránek. Na této sadě webových stránek ukazujeme, že náš algoritmus je téměř o 90% rychlejší než referenční algoritmus. Přesnost navrženého algoritmu je mezi 47% a 133% přesnosti referenčního algoritmu. V našich experimentech také demonstrujeme výhody tvorby ploché struktury segmentace namísto obvyklé stromové struktury.
Článek byl dosud citován v 8 publikacích.
@article{BUT133487,
author="Jan {Zelený} and Radek {Burget} and Jaroslav {Zendulka}",
title="Box clustering segmentation: A new method for vision-based web page preprocessing",
journal="INFORMATION PROCESSING & MANAGEMENT",
year="2017",
volume="53",
number="3",
pages="735--750",
doi="10.1016/j.ipm.2017.02.002",
issn="0306-4573",
url="http://www.sciencedirect.com/science/article/pii/S0306457316301169"
}