Systém pro odpovídání na lidské otázky z FIT zabodoval ve znalostním kvízu. Soutěžil proti strojům i lidem

Těsné třetí místo v soutěži EfficientQA na konferenci NeurIPS 2020 obsadil tým výzkumníků ze skupiny KNOT@FIT - Martin Fajčík, Martin Dočekal, Karel Ondřej a Pavel Smrž. Jejich systém BUT R2-D2 uspěl společně s velkými jmény jako Facebook nebo Microsoft a zabodoval v "soutěži strojů", kde se ve znalostním kvízu utkal i s lidmi.

Nakolik dokáží stroje rozumět lidské otázce a správně ji zodpovědět? A jsou v tom lepší než sami lidé? To chtěla zjistit soutěž EfficientQA organizovaná vědeckou skupinou GoogleAI na sklonku loňského roku v rámci prestižní konference NeurIPS 2020. V kategorii systémů pod 6 GiB se jako jediný univerzitní tým dostal na přední příčky tým výzkumníků z FIT se systémem BUT R2-D2.

"Jde o neurální systém pro odpovídání na lidské dotazy. Stačí mu položit otázku, on za vás prohledá obrovskou knihovnu, najde relevantní knihy, které přečte, a odpoví," přibližuje Martin Fajčík ze skupiny KNOT@FIT, která na soutěži získala třetí místo. BUT R2-D2 tak musel "nastudovat" přes 21 milionů textových pasáží.

Systém obsahuje dva podsystémy, které postupně knihovnu dokumentů prohlížejí a vyberou jejich malou podmnožinu, a další dva podsystémy, které dokumenty pročítají a extrahují odpověď. Získal proto název R2-D2 (Rank twice, reaD twice) inspirovaný robotem ze Star Wars, který vždy pomáhal tam, kde bylo třeba.

"Podobné systémy dnes mají mnoho využití - například jako konverzační agenti, v zákaznické podpoře nebo při získávání informací prakticky v jakékoliv oblasti. Právě systémy pro odpovídání na otázky budou nejspíš součástí budoucnosti získávání informací, tak jako je dnes webové vyhledávání. To nám dokáže s rostoucím množstvím informací na webu najít obrovské množství relevantních stránek, ale najít správnou odpověď, kterou hledáme, může být vyčerpávající a někdy i nemožné," přibližuje Martin Fajčík.

Na jeho popis systému BUT R2-D2 na konferenci se můžete podívat online. Proti BUT R2-D2 a dalším nejlepším systémům se v soutěži postavila těžká konkurence - lidé. Po úvodním kole se stroje utkali s týmem složených z univerzitních profesorů a kvízových šampionů. Kdo nakonec vyhrál, se dozvíte v záznamu z kvízu, bližší popis soutěže si můžete přečíst v předběžném článku.