Powered by OpenAIRE graph
Found an issue? Give us feedback
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/ Norwegian Open Resea...arrow_drop_down
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/
versions View all 1 versions
addClaim

Unsupervised RGB-to-Infrared Image Translation with Generative Models

Authors: Øie, Andreas;

Unsupervised RGB-to-Infrared Image Translation with Generative Models

Abstract

Denne masteroppgaven undersøker anvendelsen av uparede bilde-til-bilde oversettelsesteknikker og generative modeller for å generere syntetiske data for å forbedre milliAmpere 2's autonome systemer. Arbeidet fokuserer eksplisitt på å generere infrarøde (IR) bilder fra elektro-optiske (RGB) bilder, noe som muliggjør forbedret deteksjon og gjenkjenning av maritime objekter. En omfattende litteraturgjennomgang og eksperimentell evaluering av eksisterende toppmoderne uparede bildeoversettelsesmetoder og relevante strategier ble utført, noe som førte til valget av CycleGAN som den mest egnede modellen. En betydelig mengde tid ble viet til testing og implementering av flere ulike modeller og utforsking av konfigurasjoner for å oppnå optimal ytelse. Opprettelsen av et nytt datasett involverte å håndtere utfordringene som oppstod fra datautforskningen og tidligere funn fra forprosjektet. Referansemodellene, CycleGAN, CUT, GcGAN og StarGAN-v2, ble implementert og evaluert ved hjelp av den kvantitative Fréchet Inception Distance (FID) metrikken og et kvalitativt tilpasset visuelt evalueringsskjema. CycleGAN fremsto som den beste modellen, og genererte de beste bildene basert på realisme og bildekvalitet for dette datasettet. Resultatene fra de ulike tuningseksperimentene indikerte at en modifisert CycleGAN-modell med en ResNet-basert arkitektur i generatoren, Xavier vektinitialisering, ReLU som ulineær aktiveringen, og en læringsrate på $1e^{-4}$ som den beste konfigurasjonen. Denne modifiserte modellen genererte de mest realistiske infrarøde bildene, og oppnådde en visuell evalueringsscore på 3,75/5 og en FID-score på 135. Disse resultatene viser til en direkte forbedring sammenlignet med forprosjektet, der en FID-score på 195 ble oppnådd. Imidlertid var modellens ytelse fortsatt begrenset av utfordringer med datasettet, som skjevfordeling av objekttyper, antall tilgjengelige bilder, bildeoppløsning og ulikheter i synsfelt mellom de elektro-optiske og infrarøde kameraene. Avslutningsvis viser funnene gjennomførbarheten av å utnytte syntetiske data for å forbedre autonomisystemets ytelse i maritime applikasjoner, samtidig som det kaster lys over potensielle forskningsretninger. Fremtidig arbeid bør fokusere på å utvide mengden på datasettet, håndtere utfordringene i datasettet, utforske nyere trender innen generative modeller og undersøke evalueringsmetrikker som passer bedre for bilder i gråskala. Denne oppgaven har lagt grunnlaget for videre forbedringer av uparede bilde-til-bilde oversettelsesmetoder, noe som kan bidra til å optimalisere bruken av infrarøde kameraer i milliAmpere 2's autonomisystem og dermed forbedre fartøyets evne til å navigere og oppfatte omgivelsene under nattlige og utfordrende værforhold.

  • BIP!
    Impact byBIP!
    selected citations
    These citations are derived from selected sources.
    This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
    0
    popularity
    This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network.
    Average
    influence
    This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
    Average
    impulse
    This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network.
    Average
Powered by OpenAIRE graph
Found an issue? Give us feedback
selected citations
These citations are derived from selected sources.
This is an alternative to the "Influence" indicator, which also reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
BIP!Citations provided by BIP!
popularity
This indicator reflects the "current" impact/attention (the "hype") of an article in the research community at large, based on the underlying citation network.
BIP!Popularity provided by BIP!
influence
This indicator reflects the overall/total impact of an article in the research community at large, based on the underlying citation network (diachronically).
BIP!Influence provided by BIP!
impulse
This indicator reflects the initial momentum of an article directly after its publication, based on the underlying citation network.
BIP!Impulse provided by BIP!
0
Average
Average
Average
Green