Detail publikace

Effective Remote Drone Control Using Augmented Virtuality

SEDLMAJER Kamil, BAMBUŠEK Daniel a BERAN Vítězslav. Effective Remote Drone Control Using Augmented Virtuality. In: Proceedings of the 3rd International Conference on Computer-Human Interaction Research and Applications 2019. Vienna: SciTePress - Science and Technology Publications, 2019, s. 177-182. ISBN 978-989-758-376-6.
Název česky
Efektivní vzdálené řízení dronu s využitím rozšířené virtuality
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Sedlmajer Kamil, Ing. (FIT VUT)
Bambušek Daniel, Ing. (UPGM FIT VUT)
Beran Vítězslav, doc. Ing., Ph.D. (UPGM FIT VUT)
Klíčová slova

Augmented Virtuality, UAV, Drone Piloting, Virtual Scene, Navigation Elements, First Person View, Third Person View.

Abstrakt

Protože dálkové ovládání dronů je z pohledu mentální zátěže pilota náročná aktivita, může podpora různých pohledů do scény: pohled první osoby (FPV) a pohled třetí osoby (TPV), zlepšit orientační schopnosti pilota během mise. Proto představujeme systém založený na technologii rozšířená virtualita , kde jsou reálná data z dronu integrována do virtuálního 3D modelu prostředí (video-stream, 3D struktury, informace o poloze). V našem systému pilot většinou pilotuje dron pomocí FPV, ale kdykoli se může přepnout na TPV, aby se mohl volně rozhlédnout v situaci s horší orientací. Navrhovaný systém také umožňuje efektivní plánování mise, kde pilot může definovat 3D oblasti s různými potenciálními bezpečnostními riziky nebo nastavit navigační body, které budou použity během mise k navigaci v definovaných zónách, a v neposlední řadě také vizualizaci celkové situace ve virtuální scéně rozšířené o reálná online data.

Výsledky

Výsledná aplikace byla vyvinuta pomocí herního enginu Unity. Pro vytvoření 3D virtuálního prostředí, mapy prostředí a výškové mapy se načítají z externích zdrojů, aby se v Unity vytvořil terén (mapy, 3D modely budov, textury, výšky). Dále jsou do aplikace přenášeny letové informace a data ze senzorů a vizualizovány (pozice, výška, video z kamery, stav baterie, rychlost letu, letový režim).

[img]
Obrázek 1: Vizuální integrace živých a virtuálních dat.
3D virtuální data jsou integrována z existujících zdrojů dat a koordinační systém je registrován do skutečné polohy dronu. Souřadnice a orientační data GPS dronu se používají k registraci do virtuální 3D scény. Rozšíření virtuální 3D scény je dosaženo vykreslením živého videa z přední kamery dronu do projekční roviny před virtuálním dronem.
[img]
Obrázek 2: Další 3D navigační prvky uživatelského rozhraní
Další 3D navigační prvky uživatelského rozhraní, jako jsou klíčové polohy mise, směr k dalšímu bodu nebo virtuální stěny, jsou vykresleny do virtuální scény a prezentovány uživateli. Metoda registrace by mohla být vylepšena technikami počítačového vidění, ale tento krok bude zvažován později podle uživatelských testů, kdy efekt hrubé registrace na základě GPS a kompasu a způsobené zpoždění videa bude profesionálními piloty vyhodnocen jako důležitý problém.
Rok
2019
Strany
177-182
Sborník
Proceedings of the 3rd International Conference on Computer-Human Interaction Research and Applications 2019
Konference
3rd International Conference on Computer-Human Interaction Research and Applications, Vienna, AT
ISBN
978-989-758-376-6
Vydavatel
SciTePress - Science and Technology Publications
Místo
Vienna, AT
DOI
10.5220/0008349401770182
UT WoS
000670592000019
EID Scopus
2-s2.0-85074253117
BibTeX 
@INPROCEEDINGS{FITPUB12006,
   author = "Kamil Sedlmajer and Daniel Bambu\v{s}ek and V\'{i}t\v{e}zslav Beran",
   title = "Effective Remote Drone Control Using Augmented Virtuality",
   pages = "177--182",
   booktitle = "Proceedings of the 3rd International Conference on Computer-Human Interaction Research and Applications 2019",
   year = 2019,
   location = "Vienna, AT",
   publisher = "SciTePress - Science and Technology Publications",
   ISBN = "978-989-758-376-6",
   doi = "10.5220/0008349401770182",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/12006"
}
Soubory
Nahoru