Využití transformerů při zpracování doménově orientovaných znalostí v oblasti počítačových sítích

Popis tématu:

Transformátory jsou velké jazykové modely založené na hlubokém učení. Používají se převážně pro zpracování přirozeného jazyka, uplatnění nacházejí ale i pro analýzu dokumentů, vyhledávání informací apod. 

Téma se zaměřuje na využití velkých jazykových modelů typu LLM pro vyhledávání informací v technické dokumentaci, například technických zprávách, manuálech či databázi znalostí. Výzkum zahrnuje zpracování vstupních doménově orientovaných dokumentů a jejich převod do jazykového modelu pro využití techniky zvané učení přenosem.

Cílem výzkumu je popsat a optimalizovat využití transformátorů  pro efektivní vyhledávání doménově specifických informací, například podpora správců sítě při řešení bezpečnostních incidentů, diagnostiku sítě apod.

Literatura:

• Tang, Zineng, et al. "Unifying vision, text, and layout for universal document processing." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.
• Pilault, Jonathan, et al. "On extractive and abstractive neural document summarization with transformer language models." Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020.
• Rothman, Denis, and Antonio Gulli. Transformers for Natural Language Processing: Build, train, and fine-tune deep neural network architectures for NLP with Python, PyTorch,  SensorFlow, BERT, and GPT-3. Packt Publishing Ltd, 2022.