Detail výsledku
Camera Orientation Estimation in Natural Scenes Using Semantic Cues
Camera orientation estimation in natural scenes has recently been approached by several methods, which rely mainly on matching a single modality - edges or horizon lines with 3D digital elevation models. In contrast to previous works, our new image to model matching scheme is based on a fusion of multiple modalities and is designed to be naturally extensible with different cues. In this paper, we use semantic segments and edges. To our knowledge, we are the first to consider using semantic segments jointly with edges for alignment with digital elevation model. We show that high-level features, such as semantic segments, complement the low-level edge information and together help to estimate the camera orientation more robustly compared to methods relying solely on edges or horizon lines. In a series of experiments, we show that segment boundaries tend to be imprecise and important information for matching is encoded in the segment area and a coarse shape. Intuitively, semantic segments encode low frequency information as opposed to edges, which encode high frequencies. Our experiments exhibit that semantic segments and edges are complementary, improving camera orientation estimation reliability when used together. We demonstrate that our method combining semantic and edge features is able to reach state-of-the-art performance on three datasets.
camera orientation estimation, camera calibration, semantic segmentation, digital elevation model of a terrain, OpenStreetMap, geo-localization, computer vision, computer graphics
Představujeme novou metodu pro automatický odhad orientace kamery za předpokladu, že pozice kamery a úhel záběru je znám. Naše metoda zahrnuje následující kroky: (I) ze vstupního obrazu je automaticky detekována hranová mapa a sémantická segmentace popisující sémantické oblasti obrazu, jako jsou lesy, vodní plochy, obloha nebo ledovce; (II) v místě předpokládané pozice kamery je vyrenderováno 360 stupňové panorama obsahující sémantické segmenty z databáze OpenStreetMap a siluetní hrany z digitálního elevačního modelu; (III) detekované a renderované sémantické segmenty a hranové mapy jsou porovnávány mezi sebou pomocí sférické korelace a našeho nového schématu pro fúzi jistotních map (Confidence Fusion - CF), jejímž výsledkem je odhadovaná orientace kamery. Sférická korelace je spočtena pro každou sémantickou třídu a hranové mapy zvlášť tak, že jejím výsledkem je jistotní mapa určující jistotu pro každou uvažovanou orientaci. Jistotní mapy jsou sloučeny do jedné pomocí váženého geometrického průměru. Výsledná jistotní mapa určí odhadovanou orientaci kamery.
Naše metoda je vhodná pro odhad orientace kamery ve venkovním prostředí a může být využita v mnoha aplikacích. Aplikace zahrnují virtuální a rozšířenou realitu, vizualizace historické re-fotografie, navigaci, aj. Experimenty na třech různých, veřejně dostupných datových sadách ukázaly, že naše metoda dosahuje výsledků srovnatelných se současným stavem poznání.
Tato publikace byla prezentována na mezinárodní konferenci o 3D vidění (3DV) 2018 v italské Veroně a je veřejně dostupná: https://ieeexplore.ieee.org/document/8490971. Doprovodné materiály a video shrnující tuto publikaci je dostupné na webové stránce projektu: http://cphoto.fit.vutbr.cz/semantic-orientation/.
@inproceedings{BUT155091,
author="Jan {Brejcha} and Martin {Čadík}",
title="Camera Orientation Estimation in Natural Scenes Using Semantic Cues",
booktitle="2018 International Conference on 3D Vision",
year="2018",
pages="208--217",
publisher="IEEE Computer Society",
address="Verona",
doi="10.1109/3DV.2018.00033",
isbn="978-1-5386-2610-8",
url="https://www.fit.vut.cz/research/publication/11829/"
}Zpracování, zobrazování a analýza multimediálních a 3D dat, VUT, Vnitřní projekty VUT, FIT-S-17-3984, zahájení: 2017-03-01, ukončení: 2020-02-29, ukončen