Interaction Patterns in Computer-assisted Semantic Annotation of Text - An Empirical Evaluation

Tento článek zkoumá možnosti uživatelských rozhraní a vzory interakce v nástrojích pro počítačem asistované sémantické obohacování textu. Zaměřuje se na pokročilé anotační úlohy jako je hierarchické anotování komplexních vztahů a spojování entit s mnohoznačnými jmény a zkoumá, jak rozhodnutí o jednotlivých aspektech anotačního rozhraní ovlivňují rychlost a kvalitu člověkem prováděného procesu počítačem asistovaného anotování. Popisované experimenty srovnávají anotační systém 4A, navržený a implementovaný naším týmem, s RDFaCE a GATE, přičemž všechny tyto nástroje poskytují pokročilou anotační funkcionalitu. Výsledky ukazují, že uživatelé jsou schopni dosáhnout lepší konzistence anotací událostí v kratším čase, když používají editor 4A. Následně byla provedena sada experimentů využívajících vysokou flexibilitu a přizpůsobitelnost nástroje 4A k nalezení optimálního množství zobrazovaných informací a formy jejich prezentace k dosažení nejlepších výsledků ve spojování entit s víceznačnými jmény. Poslední sada experimentů následně ukazuje, že způsob, kterým nástroj 4A implementuje koncept sémantického filtrování, urychluje proces anotování událostí a ve srovnání s alternativními přístupy přináší lepší konzistenci.