Detail výsledku
Automated outdoor depth-map generation and alignment
Image enhancement tasks can highly benefit from depth information, but the direct estimation of outdoor depth maps is difficult due to vast object distances. This paper presents a fully automatic framework for model-based generation of outdoor depth maps and its applications to image enhancements. We leverage 3D terrain models and camera pose estimation techniques to render approximate depth maps without resorting to manual alignment. Potential local misalignments, resulting from insufficient model details and rough registrations, are eliminated with our novel free-form warping. We first align synthetic depth edges with photo edges using the as-rigid-as-possible image registration and further refine the shape of the edges using the tight trimap-based alpha matting. The resulting synthetic depth maps are accurate, calibrated in the absolute distance. We demonstrate their benefit in image enhancement techniques including reblurring, depth-of-field simulation, haze removal, and guided texture synthesis.
Image enhancement
Synthetic depth
3D terrain
Free-form warping
Image registration
Synthetic camera
Při vylepšování a editaci obrazu je velkou výhodou, pokud je k dispozici informace o hloubce. Přímý odhad hloubkové mapy je však velmi náročný, zejména ve venkovních prostředích, kde jsou vzdálenosti zachycených objektů značné. V této práci navrhujeme novou plně automatickou metodu pro syntézu hloubkové mapy obrazu pomocí modelu terénu a ukazujeme nové aplikace získané hloubkové mapy. Případné nedostatky v zarovnání obrazu s modelem terénu řešíme pomocí nové elastické registrační techniky. Nejprve zarovnáme syntetické hrany z hloubkové mapy s hranami ve fotografii pomocí "as-rigid-as-possible" registrace a získané zarovnání dále zpřesňujeme pomocí maskování založeného na těsné "trimapě". Výsledné syntetické hloubkové mapy jsou přesné a na rozdíl od předchozích prací udávají absolutní vzdálenost kalibrovanou v metrech. Výhody takových hloubkových map demonstrujeme v úlohách vylepšení obrazu, jako např. přeostřování, simulace hloubky ostrosti, odstranění atmosférického oparu, nebo řízené syntéze textur.
Publikovaná metoda umožňuje zarovnání a následnou editaci outdoorových fotografií pomocí syntetických hloubkových map, což dosud nebylo možné. Předpokládáme, že díky tomu nalezne uplatnění nejen v aplikacích virtuální a rozšířené reality, ale i v programech pro úpravu a editaci fotografí.
Tato publikace byla prezentována v impaktovaném časopise Computers & Graphics (2018) a je dostupná zde: https://www.sciencedirect.com/science/article/pii/S0097849318300608
Doprovodné materiály a video shrnující tuto publikaci jsou dostupné na webové stránce projektu: http://cphoto.fit.vutbr.cz/depth/
@article{BUT155059,
author="ČADÍK, M. and SÝKORA, D. and LEE, S.",
title="Automated outdoor depth-map generation and alignment",
journal="COMPUTERS & GRAPHICS-UK",
year="2018",
volume="74",
number="3",
pages="109--118",
doi="10.1016/j.cag.2018.05.001",
issn="0097-8493",
url="http://cphoto.fit.vutbr.cz/depth/"
}Centrum kompetence ve zpracování vizuálních informací (V3C - Visual Computing Competence Center), TAČR, Centra kompetence, TE01020415, zahájení: 2012-05-01, ukončení: 2019-12-31, ukončen
IT4Innovations excellence in science, MŠMT, Národní program udržitelnosti II, LQ1602, zahájení: 2016-01-01, ukončení: 2020-12-31, ukončen