Next Generation Kernel-Based Machine Learning for Big Missing Data Applied to Earth Observation

I dagens samfunn lagres enorme mengder data (Big Data) på grunn av en mengde ulike typer sensorer kombinert med billig og økende lagringskapasitet. Maskinlæring er det fremste forskningsfeltet for å finne mønstre i Big Data for å ta data-drevne avgjørelser, og danner fundamentet for teknologi som ansiktsgjenkjenning i digitale kamera, anbefalingssystemer (Amazon, Facebook, etc.), maskinoversetting, og talegjenkjenning, bare for å nevne noen, og er et ekstremt viktig felt innen for eksempel helse og medisin, nevrovitenskap, og satelittbasert måling. Dårlig kvalitet på data i form av manglende observasjoner begrenser imidlertid kraftig maskinlæringsalgoritmenes effektivitet, og leder ofte til for dårlig beslutningskapasitet. Dette prosjektet skal utvikle neste generasjons maskinlæringsalgoritmer, med evne til å handtere manglende data. Dette kommer til å få stor betydning for utnyttelsen av Big Data for beslutningsstøtte, og kommer til å drive framover informasjons- og kommunikasjonsteknologi. Prosjektet har ført til en rekke publikasjoner. Spesielt nevnes her artikkelen "Time series cluster kernel for learning similarities between multivariate time series with missing data" av Mikalsen, Jenssen et al., publisert i journalen Pattern Recognition i 2018. Metoden er generisk , bygget på såkalte "kernel methods", og kan anvendes for alle typer multivariate tidserier, og tar hånd om manglende data på en mer effektiv måte enn tradisjonelle teknikker. I tillegg nevnes artikkelen "Urban Land Cover Classification With Missing Data Modalities Using Deep Convolutional Neural Networks" av Kampffmeyer, Salberg, Jenssen i journalen IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing i 2018. Denne metoden bygger inn såkalt deep learning for å kunne monitorere jordoverflata ved hjelp av satelittbilder når enkelte spektrale bånd mangler helt eller delvis i satelittbildene. Denne typen arbeid har blitt ytterligere utvidet, for eksempel "A Comparison of Deep Learning Architectures for Semantic Mapping of Very High Resolution Images" av Liu, Salberg, Jenssen i International Geoscience and Remote Sensing Symposium (IGARSS) 2019. Disse arbeidene bygger på en rekke andre arbeider innen prosjektet, og har ført forskningsfronten flere steg framover.

Dette grunnforskningsprosjektet innen IKT har ført til en rekke publikasjoner og utvikling av nyskapende og generisk maskinlæringsmetodikk innen såkalte kjernemetoder (kernel methods) og dype nevrale nettverk for å handtere manglende data (missing data). Virkninger av resultatene har vært å flytte forskningsfronten innen maskinlæring, og å demonstrere nytten av slik maskinlæringsmetodikk innen jordobservasjon for eksempel for kartlegging av jordoverflata i tilfeller der data mangler. Ytterligere effekter har vært å etablere nytt og tett samarbeid mellom maskinlæringsgruppa ved UiT og Norsk regnesentral, i tillegg til utstrakt internasjonalt samarbeid med toppmiljøer f.eks i USA. Prosjektet har finansiert flere gjesteforskere fra Tyskland, Spania, England, og USA, noe som har ført til en stor kompetanseoppbygging. Prosjektet har delfinansiert den nye Northern Lights Deep Learning Workshop nldl.org, en internasjonal workshop som samler store deler av det Norske maskinlæringsmiljøet.

Missing data is a key problem in numerous scientific fields, severely degrading the power of learning and inference algorithms, frequently causing erroneous decision making and loss of accuracy. In the emerging era of big data, gaps in data increase exponentially, and manual handling is impossible, hence creating a big missing data problem. As a key solution, the KERNEO project will develop the next generation machine learning algorithms for big missing data as a game-changer in future knowledge extraction. This will be achieved by a highly novel approach whereby the versatility of kernel methods will be synergistically cross-fertilized by the probabilistic nature of information theoretic learning for big data latent (missing) variable analysis. Earth observation (EO), a field where missing data is extremely common e.g. due to clouds, and where data is big, will serve as the test bed for KERNEO, focusing in particular on tropical forest monitoring using the coming Sentinel satellites. In EO, ad-hoc solutions, like simply discarding missing values, are implemented in the analysis to handle cloud-contaminated images, thereby ignoring valuable information. The KERNEO next generation missing data machine learning tools, providing superior knowledge extraction on challenging missing data scenarios, will be highly innovative in EO monitoring and will moreover translate to scientific fields far beyond EO. KERNEO is high risk because of the profound challenges and interdisciplinary nature of the endeavor, yet feasible due to the high quality of the PI and the team, the extensive mobility, and the unique network of researchers in kernel-based machine learning, statistics, computer science and EO, creating the synergy effects needed in order to reach the ambitious project objectives.