Machine-Learning Based Solutions For Automatic Image Enhancement In Real Estate

Anvendelsen af maskinlæringsteknikker til forædling af billeder er et akademiskforskningsområde som, grundet fremskridt indenfor computerens beregningskapacitet, forbedring af neurale tilgange, samt en stadig stigende mængdetilgængelige data, har oplevet hurtig udvikling. Målet for denne afhandlinger at undersøge og forbedre disse maskinlæringsteknikker, med et fokus påvirkelige scenarier hvor menneskelige fotoeditors er nødvendige. Indholdet af denne afhandling er blevet udarbejdet i samarbejde med Esoft SystemsA/S, som er en virksomhed, der søger at levere medieløsninger på et yderstudfordrende marked; boligannoncering.

HDR Første del af denne afhandling omhandler forædling af individuelle billeder i høj opløsning. Der foreslås to forskellige tilgange til denne opgave: i) anvendelse af Perceptual Losses til at justere farve og lysintensitet; ii) og i forlængelse af dette, anvende Generative Adversarial Networks til at danne syntetiske billeder. Den første tilgang beror på følgende faser: først håndteres
repræsentationer af billedet ved lavere opløsning, hvorefter transformationerne udledt heraf anvendes på det originale billede i høj opløsning. For den anden - billeddannende - tilgang, hvorigennem nye elementer bliver hallucineret for at udfylde manglende områder i det oprindelige billede, anvendes den modsatte tilgang. Det oprindelige billede deles op i mindre stykker som processeres serielt og herefter samles igen for at danne et billede i høj opløsning.

Anden del af denne afhandling fokuserer på fusion af multieksponerede billeder, særligt tilgange der fjerner ”ghosting”-artefakter. Disse artefakter opstår i et billede, der er dannet af flere eksponeringer, hvor enten kameraet eller et objekt i billedet var i bevægelse under optagelsen. Særlige arkitekturer og neurale frameworks er blevet defineret for at håndtere dette komplekse problem. Denne afhandling foreslår to forskellige tilgange til at
løse dette problem: i) effektive arkitekturer til anvendelse på High Dynamic Range (HDR) billeddannelse fra Low Dynamic Range (LDR) input; ii) en arkitektur, der kan fusionere or retouchere multieksponerede LDR billeder.

Undersøgelserne der præsenteres i denne afhandling demonstrerer, at der ved forædling af billeder kan opnås høj kvalitet og sammenhæng ved moderat opløsning. Herudover kan de forædlede billeder anvendes til at overføre transformationerne, de selv er undergået til billeder i fuld opløsning, hvilket leverer et state-of-the-art output. Med udgangspunkt i de foreslåede tilgange, kan billeder i endda højere opløsning end 8k let behandles på gennemsnitlig hardware.

For mere krævende input, hvor ekstreme transformationer eller dannelsen af nyt indhold er påkrævet, anvendes Generative Adversarial Networks (GANs) til at levere lovende resultater. Denne afhandling demonstrerer at disse teknikker, på trods af deres større resourceforbrug, kan anvendes på måder,
der tillader effektiv behandling af billeder.

Vores resultater indikerer ligeledes, hvilke fordele kan opnås med det rigtige design af arkitekturer som præsterer et lavt resourceforbrug, samt høj kvalitet ved fusion af multieksponerede billeder, som er fri for ghostingartefakter. Denne afhandling indikerer nødvendigheden af at anvende forskellige tilgange til multi-frame fusion, især når målbillederne indeholder yderligere menneskelig retoucheringer.

Denne afhandling demonstrerer muligheden for at anvende de beskrevne teknikker i et højtudviklet og krævende miljø som billedhåndtering til brug i ejendomsmarkedet. Disse teknikker tillader Esoft Systems A/S at opskalere produktionen uden behovet for samtidig at opskalere mængden af arbejdskraft i virksomheden.