Change detection in heterogeneous remote sensing images

Sammenligner epler og pærer - på en fornuftig måte Endringsdeteksjon er en viktig anvendelse innen jordobservasjon med satellittbilder, og gjøres tradisjonelt ved å sammenligne bilder som er tatt under så like forhold som mulig. Et prosjekt ved Universitetet i Tromsø - Norges arktiske universitet (UiT) har gjort noe mindre opplagt: å sammenligne bilder tatt av helt forskjellige sensorer og likevel klare å finne endringer mellom dem. Prosjektet «Endringsdeteksjon i heterogene satellittbilder» er utført av en ph.d.-student ved UiT Norges arktiske universitet i samarbeid med forskere ved Universitetet i Genova, Italia. Prosjektleder har vært førsteamanuensis Stian Normann Anfinsen fra Maskinlæringsgruppa ved UiT. - Det er som å sammenligne epler og pærer, og likevel klare å få noe fornuftig ut av det. Konseptet heterogen endringsdeteksjon er veldig nytt og har såvidt vært utprøvd, blant annet av våre projektpartnere i Italia. I prosjektet har vi angrepet problemet med avanserte metoder fra statistikk og maskinlæring, sier Anfinsen. Endringsdeteksjon kan brukes til å oppdage avskoging eller oversvømte områder. Tradisjonelt har en sammenlignet bilder fra samme instrument og sensormodus, slik at målingene ved to tidspunkter er direkte sammenlignbare og hvor liten differanse representerer ingen endring. Dette krever imidlertid nøye korrigering og samkalibrering av bildene, noe som ikke alltid er mulig på grunn av variasjoner i avbildningsgeometri og miljøparametre som endres med vær og årstid. Motivasjonen har både vært å gjøre raskere og mer omfattende analyser. Med heterogen endringsdeteksjon trenger en ikke å vente på en ny avbildning med samme sensormodus før en kan lete etter endringer i etterkant av en hendelse. Ved å bruke et hvilket som helst bildepar, kan analysen utføres så snart et bilde er tilgjengelig. Når en kan sammenligne ulike sensorer, får en dessuten lengre og tettere tidsrekker av data, som kan brukes til å studere endringer over større tidsrom og med høyere tidsoppløsning. Dette gir bedre utnyttelse av de store mengden satellittbilder som tas opp. Metodene som er utviklet benytter de siste nyvinningene innenfor dyp læring med kunstige nevrale nettverk, og arbeidet har også bidratt til metodisk nyskaping på feltet dyp læring. Flere vitenskapelige artikler som demonstrerer hvordan teknikkene kan anvendes på satellittbilder er under publisering.

1) Prosjektet har utviklet metoder for endringsdeteksjon i heterogene/multimodale satellittbilder med større nøyaktighet enn noen kjente algoritmer for forskningslitteraturen. 2) Algoritmene er gjort åpent tilgjengelige gjennom kodedatabasen Github og kan tas i bruk av lokal og nasjonal industri 3) Maskinlæringsgruppa har finansiering fra Tromsø Forskningsstiftelse for å fortsette utviklinga av metodene ved å overføre dem fra satellittbilder til medisinske bilder i samarbeid med PET-sentrene i Tromsø, Trondheim og Bergen. 4) Forskningsprosjektet har åpnet en ny forskningsretning innenfor dyp læring med kunstige nevrale nettverk gjennom de metodiske nyvinningene som er gjort i prosjektet.

This project will employ a PhD student who shall develop a suite of algorithms capable of detecting changes in both pairs and longer time series of co-located remote sensing images captured by different sensors or with different acquisition modes. Traditional algorithms for change detection in images typically assume that the images are perfectly co-registered and co-calibrated, such that no change corresponds to zero difference or unit ratio between the compared pixels. This assumption is in most practical applications unrealistic due to variations in viewing geometry and environmental conditions, phenological evolution of vegetation, and other factors that cannot be perfectly compensated for. We proposed an alternative strategy: A pattern of typical temporal evolution is established by use of distance measures that quantify the statistical similarity of sensor measurements. These can be used to contrast single pixels or groups of pixels along both the spatial and the temporal dimension. Clusters of pixels that behave similarly in terms of temporal evolution define a thematic ground cover class with no change. Changes will be detected as divergence and bifurcation within such a cluster, as the spatial configurations or temporal profiles will deviate from the main pattern when changes occur. The distance-based approach will be implemented with kernel methods from recent award winning work on machine learning. The design will rely on a judicious combination of: (i) parametric models that capture prior knowledge based on a physical understanding of the sensors, with (ii) nonparametric models that allow the required flexibility to combine heterogeneous sources of information and to model the sampling distributions of the test statistics. The PhD student will be trained in collaboration with the University of Genoa, Italy, allowing research visits to and co-tutoring by leading experts and authors of seminal work on the topic.