Development of algorithms for image enhancement and retrieval of 3D data from single and stereo images.

Introduksjon: Optisk oppmåling er en svært aktuell oppmålingsmetode for flere industrier og bransjer. Hastighet, nøyaktighet og pålitelighet er noen av de sentrale fordelene. 1) Avanserte metoder og algoritmer til bildebehandling er et viktig grunnlag for optiske oppmålingsmetoder som fotogrammetri og 3D-skanning. Slike algoritmer muliggjør at bilder av svært ulik kvalitet kan brukes til 3D punkt beregning. Lav bildekvalitet kan komme fra bevegelse av objekter eller kamera under oppmåling, eller støy (partikler i luft eller vann). Det ble utviklet algoritmer som brukes til å forberede 2D-bilder som er grunnlaget til 3D data beregning. Øverste prioriteten var en signalforsterkning i rådata, uten at det påvirker nøyaktigheten negativt. Fremgangsmåte 1: a) Vi har hentet inn store mengde testdata: over 20.000 bilder som ble tatt under vann og viser fotogrammetriske merker. b) Vi har utviklet og testet forskjellige metoder for å forsterke signal i bildene: blant annet har vi videreutviklet klassiske bildebehandlingsmetoder ved en automatisk parametrisering av maskinlæring. c) Vi har utviklet ML-modeller for å detektere og identifisere fotogrammetriske merker i bildene med veldig lav kontrast. d) Vi har sammenlignet resultatene våre med kommersiell tilgjengelig programvare. RESULTAT 1: Metodene ble integrert i en prototype av en programvare som tar imot undervannsbilder med fotogrammetriske merker, og leverer tekst-filer som inneholder koordinater og ID av selve merker. Prototypen er en robust “one-click-solution”, spesialisert til undervannsbilder, og leverer bedre resultater enn dagens kommersiell tilgjengelige programvarer. Resultatene blir publisert i en vitenskapelig artikkel. 2) Vi har utviklet et konsept til en optisk 3D-skanner til inspeksjon av strukturer. Skanneren kan brukes mens den er i bevegelse og er derfor optimert til bruk på roboter eller droner. Skanneren baserers på stereofotogrammetri og en projektor som belyser objektet. Den skal levere veldig tett punktsky med få millimeter nøyaktighet, mens den beveger seg med 0.5 m/s. Fremgangsmåte 2: A) vi har satt oss dypt inni teorien om stereofotogrammetri og aktiv belysning. B) Vi har identifisert laser-baserte statistiske punkt-mønster som mest lovende teknologi i forhold til hastighet, robusthet og kontraststyrke. C) Vi har utviklet programvaren til kalibrering av kamera og kalibrering av stereokamera-oppsett, og gjennomført selve kalibreringen. D) Vi har bygd opp en enkelt prototype. e) Vi har utviklet programvare til beregning av 3D-data (GPU-basert). RESULTAT 2: Vi har utviklet et konsept til en høy-hastighets 3D-skanner til inspeksjon av strukturer. Skanneren skal stå på en mobil plattform. Deler av konseptet ble verifisert ved utvikling og testing av programvare og en enkelt prototype ble bygd opp. Resultatene blir publisert i en monografi.

Based on the results of this project, Elleve currently considers to develop new remote sensing technologies, with focus on mobile scanning. The candidate has developed (amoung other things) a concept for a mobile 3D-scanner, along with an early prototype. If Elleve should decide to proceed, a RnD-project will be initiated as a next step. The inspeciton of wind-power-stations is one of the possible scenarious. Other options are considered as well.

FIELD OF RESEARCH Within this phd-thesis, the required academic research shall be conducted to gain a solid basis for the development of optical sensors. For this purpose, research on existing algorithms and methods for image enhancements and 3D-calculations shall be performed. Further, the analyzed algorithms shall get enhanced as well as new algorithms developed. 1. A research on existing algorithms and methods for signal analysis and signal improvement shall be conducted. Methods for visual examinations of objects shall be analyzed for their robustness and effects. Special focus shall be given images acquired a. while the camera was in motion b. while the object was in motion c. in poor lighting conditions Based on the research results, new algorithms and methods shall be developed to further enhance image quality. For this purpose, the use of neural networks and automatic parametrization shall be evaluated, as well as the usage of GPU and FPGA processing, in order to enable delivery of results in realtime. Tests might be conducted in a laboratory and in the field. Source code might be developed. Results will get published in order to document and share the achieved knowledge. 2. The improved image quality shall lead to enhanced options for the retrieval of 3D data based on single or multiple stereo image recordings. A research on existing algorithms and methods for obtaining 3D data as used of active and passive optical sensors shall be performed. Images acquired or tested in the first part of the doctoral thesis shall be used for this purpose. Once again, focus shall be given the development of algorithms that are extremely robust and multisided, as well as high speed performance.