Detail výsledku

Effective Remote Drone Control Using Augmented Virtuality

SEDLMAJER, K.; BAMBUŠEK, D.; BERAN, V. Effective Remote Drone Control Using Augmented Virtuality. In Proceedings of the 3rd International Conference on Computer-Human Interaction Research and Applications 2019. Vienna: SciTePress - Science and Technology Publications, 2019. p. 177-182. ISBN: 978-989-758-376-6.
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Sedlmajer Kamil, Ing.
Bambušek Daniel, Ing., UPGM (FIT)
Beran Vítězslav, doc. Ing., Ph.D., UPGM (FIT)
Abstrakt

Since the remote drones control is mentally very demanding, supporting the pilot with both, first person view (FPV) and third person view (TPV) of the drone may help the pilot with orientation capability during the mission. Therefore, we present a system that is based on augmented virtuality technology, where real data from the drone are integrated into the virtual 3D environment model (video-stream, 3D structures, location information). In our system, the pilot is mostly piloting the drone using FPV, but can whenever switch to TPV in order to freely look around the situation of poor orientation. The proposed system also enables efficient mission planning, where the pilot can define 3D areas with different potential security risks or set navigation waypoints, which will be used during the mission to navigate in defined zones and visualize the overall situation in the virtual scene augmented by online real data.

Klíčová slova

Augmented Virtuality, UAV, Drone Piloting, Virtual Scene, Navigation Elements, First Person View, Third Person View.

Výsledky

Výsledná aplikace byla vyvinuta pomocí herního enginu Unity. Pro vytvoření 3D virtuálního prostředí, mapy prostředí a výškové mapy se načítají z externích zdrojů, aby se v Unity vytvořil terén (mapy, 3D modely budov, textury, výšky). Dále jsou do aplikace přenášeny letové informace a data ze senzorů a vizualizovány (pozice, výška, video z kamery, stav baterie, rychlost letu, letový režim).

[img]
Obrázek 1: Vizuální integrace živých a virtuálních dat.
3D virtuální data jsou integrována z existujících zdrojů dat a koordinační systém je registrován do skutečné polohy dronu. Souřadnice a orientační data GPS dronu se používají k registraci do virtuální 3D scény. Rozšíření virtuální 3D scény je dosaženo vykreslením živého videa z přední kamery dronu do projekční roviny před virtuálním dronem.
[img]
Obrázek 2: Další 3D navigační prvky uživatelského rozhraní
Další 3D navigační prvky uživatelského rozhraní, jako jsou klíčové polohy mise, směr k dalšímu bodu nebo virtuální stěny, jsou vykresleny do virtuální scény a prezentovány uživateli. Metoda registrace by mohla být vylepšena technikami počítačového vidění, ale tento krok bude zvažován později podle uživatelských testů, kdy efekt hrubé registrace na základě GPS a kompasu a způsobené zpoždění videa bude profesionálními piloty vyhodnocen jako důležitý problém.
Rok
2019
Strany
177–182
Sborník
Proceedings of the 3rd International Conference on Computer-Human Interaction Research and Applications 2019
Konference
3rd International Conference on Computer-Human Interaction Research and Applications
ISBN
978-989-758-376-6
Vydavatel
SciTePress - Science and Technology Publications
Místo
Vienna
DOI
10.5220/0008349401770182
UT WoS
000670592000019
EID Scopus
2-s2.0-85074253117
BibTeX 
@inproceedings{BUT159976,
  author="Kamil {Sedlmajer} and Daniel {Bambušek} and Vítězslav {Beran}",
  title="Effective Remote Drone Control Using Augmented Virtuality",
  booktitle="Proceedings of the 3rd International Conference on Computer-Human Interaction Research and Applications 2019",
  year="2019",
  pages="177--182",
  publisher="SciTePress - Science and Technology Publications",
  address="Vienna",
  doi="10.5220/0008349401770182",
  isbn="978-989-758-376-6",
  url="https://www.fit.vut.cz/research/publication/12006/"
}
Soubory
Projekty
IT4Innovations excellence in science, MŠMT, Národní program udržitelnosti II, LQ1602, zahájení: 2016-01-01, ukončení: 2020-12-31, ukončen
Nástroje a metody zpracování videa a obrazu pro zvýšení efektivity operací bezpečnostních a záchranných složek, MV, Bezpečnostní výzkum České republiky 2015-2020, VI20172020068, zahájení: 2017-01-01, ukončení: 2020-12-31, ukončen
Zpracování, zobrazování a analýza multimediálních a 3D dat, VUT, Vnitřní projekty VUT, FIT-S-17-3984, zahájení: 2017-03-01, ukončení: 2020-02-29, ukončen
Výzkumné skupiny
Výzkumná skupina počítačové grafiky (VZ GRAPH)
Výzkumná skupina robotiky Robo@FIT (VZ ROBO)
Pracoviště
Ústav počítačové grafiky a multimédií (UPGM)
Nahoru