Fakulta informačních technologií VUT v Brně

Detail publikace

BoxCars: Improving Fine-Grained Recognition of Vehicles using 3-D Bounding Boxes in Traffic Surveillance

SOCHOR Jakub, ŠPAŇHEL Jakub a HEROUT Adam. BoxCars: Improving Fine-Grained Recognition of Vehicles using 3-D Bounding Boxes in Traffic Surveillance. IEEE Transactions on Intelligent Transportation Systems, roč. 2019, č. 1, s. 97-108. ISSN 1524-9050. Dostupné z: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8307405
Název česky
BoxCars: Vylepšení rozpoznání typů vozidel s využitím 3D boxů v dopravním dohledu
Typ
článek v časopise
Jazyk
angličtina
Autoři
Sochor Jakub, Ing. (UPGM FIT VUT)
Špaňhel Jakub, Ing. (UPGM FIT VUT)
Herout Adam, prof. Ing., Ph.D. (UPGM FIT VUT)
URL
Abstrakt
V tomtu článku se zaměřujeme na rozpoznání typů vozidel z dopravních dohledových kamer. Námi navržený přístup je použitelný z libovolného pohledu na vozidla. Přístup je založen na 3D bounding boxech postavených automaticky kolem vozidel a následného rozbalení tohoto boxu pro normalizaci reprezentace. Dále využíváme náhodné změny barvy a překrytí náhodné části obrazu ke zlepšení výsledků klasifikace. Pro vyhodnocení přístupu jsme posbírali dataset BoxCars116k s 116 tisíci obrázky vozidel s jejich přesným typem. Výsledky ukazují, že náš přístup významně zlepšuje přesnost klasifkace (o 12 procentních bodů, chyba byla redukována o 50%). 
Rozšířený popis
Publikace popisuje metodu klasifikace vozidel v obraze do podrobných tříd (výrobce, model, typ karoserie a modelový rok vozidla) s pomocí vizuálních znaků získaných ze snímků vozidla. Popisovaná metoda je zaměřená na obrazová data z dohledových kamer, kdy může být vozidlo pozorováno z různých úhlů a může docházet i k částečných překryvům vozidel.

Základním novodobým přístupem pro klasifikaci různých typů objektů, tedy i vozidel, jsou konvoluční neuronové sítě. Tato publikace navrhuje různé modifikace standardních modelů konvolučních neuronových sítí pro klasifikaci, aby byly robustnější proti variancím v pozorovacích úhlech kamer, částečným překryvům vozidel či různým barvám stejného modelu vozidla.

Největším přínosem této publikace je inovativní postup konstrukce 3D obalového tělesa vozidla, který výrazně zlepšuje robustnost klasifikátorů vůči různým pozorovacím úhlům. Publikace popisuje způsob konstrukce tohoto obalového tělesa pomocí detekce kontury vozidla a odhadu pozorovacího úhlu (pomocí samostatné neuronové sítě).

[img]

Na prvním snímku je vidět detekce vozidla ve 2D. Druhý a třetí snímek reprezentuje detekci kontury pomocí teplotní mapy a získání finální kontury vyhledáváním maximálních hodnot v této mapě. Následuje ukázka odhadu pozorovacího úhlu vozidla a finální odhad 3D obalového tělesa vozidla (červenou přerušovanou čárou), vůči ground truth (zeleně).

Metoda popsaná v této publikaci lze aplikovat i na jednotlivé snímky vozidel, tedy bez nutnosti dlouhodobého pozorování scény. 

Dále publikace popisuje postupy pro augmentaci dat během trénování neuronových sítí, které zvyšují odolnosti vůči částečnému překrytí a změny barvy.

Součástí této publikace je také zaznamená datová sada specificky určená pro problematiku podrobné klasifikace vozidel. Datová sada s názvem BoxCars116k obsahuje 116 000 obrázků vozidel pozorovaných z různých úhlů s podrobnou anotací typu vozidla, která je svou velikostí i rozmanitostí ve světě unikátní.

Na této datové sadě metoda prezentovaná v této publikaci dosahuje o 12 procentních bodů lepších výsledků v porovnání se standardním klasifikační modelem, což v tomto případě představuje redukci chyby klasifikace o 50%.
Zkrácený popis
Publikace popisuje metodu klasifikace vozidel v obraze do podrobných tříd (výrobce, model, typ karoserie a modelový rok vozidla) s pomocí vizuálních znaků získaných ze snímků vozidla. Metoda prezentována v této publikaci je založená na strojovém učení, konkrétně konvolučních neuronových sítích.

Metoda je zaměřená na obrazová data z dohledových kamer, kdy může být vozidlo pozorováno z různých úhlů. Přístup popsaný v této publikaci je odolný vůči změnám úhlu pozorování, částečným překryvům i změnám barvy vozidel. Toho je dosaženo konstrukcí 3D obalového tělesa vozidla a umělou úpravou dat během trénování neuronové sítě.

Součástí publikace je také datová sada s názvem BoxCars116k, speciálně zaznamenaná pro problematiku podrobné klasifikace vozidel. Datová sada, která obsahuje 116 000 obrázků vozidel s podrobnou anotací typu vozidla, je svou velikostí i rozmanitostí ve světě unikátní.
Citace
Rok
2018
Strany
97-108
Časopis
IEEE Transactions on Intelligent Transportation Systems, roč. 2019, č. 1, ISSN 1524-9050
Vydavatel
IEEE Intelligent Transportation Systems Society
DOI
BibTeX
@ARTICLE{FITPUB11617,
   author = "Jakub Sochor and Jakub \v{S}pa\v{n}hel and Adam Herout",
   title = "BoxCars: Improving Fine-Grained Recognition of Vehicles using 3-D Bounding Boxes in Traffic Surveillance",
   pages = "97--108",
   journal = "IEEE Transactions on Intelligent Transportation Systems",
   volume = 2019,
   number = 1,
   year = 2018,
   ISSN = "1524-9050",
   doi = "10.1109/TITS.2018.2799228",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/11617"
}
Nahoru