Next generation Earth observation data analysis by integrating human knowledge and AI

Dagens AI-modeller lærer hovedsakelig ved å analysere enorme mengder data, ofte tusenvis av eksempler, der innholdet i hvert eksempel er forhåndskategorisert eller "merket". Selv om denne metoden er effektiv, har den en begrensning: AI-en utvikler ikke den samme "sunne fornuften" som mennesker har. Den forstår ikke grunnleggende prinsipper om verden, som fysikkens lover eller allmenne sannheter. Resultatet er at AI-en av og til kommer med forutsigelser eller svar som virker helt urimelige eller motstridende med det vi vet er sant. Målet med dette prosjektet er å forbedre dyplæringsmodeller ved å bygge inn menneskelig kunnskap, føringer og forståelse av fysikk. Vi utforsker bruken av kunnskapsgrafer og hierarkiske klassestrukturer for å representere og integrere denne kunnskapen. Disse forbedrede modellene brukes deretter til å videreutvikle automatisk analyse av jordobservasjonsdata. En av de konkrete anvendelsene vi ser på er "zero-shot learning", hvor modellene predikerer klasser som ikke er representert i treningsdataene. Ved å utnytte slik kunnskap blir opplæringen av dyplæringsmodellene mer effektiv og nøyaktig, selv med færre datapunkter. Vi har også startet treningen av en grunnmodell (Foundation Model) som er trenes med ikke-annoterte data ved hjelp av såkalt selvstyrt læring, og som vil danne basis for videre analyser. Prosjektet fokuserer på to sentrale utfordringer innen jordobservasjon: kartlegging av myrområder og kartlegging av snødekke. Vi har allerede etablert benchmark-resultater på myrkartlegging ved bruk av klassiske U-Net-modeller. Forventede resultater inkluderer forbedrede metoder for kartlegging av arealdekke, noe som vil bidra til bedre forvaltning av økosystemene i myrene. I tillegg vil forbedrede kart over snødekke gi mer nøyaktige estimater av vannressurser tilgjengelig for vannkraftproduksjon og bedre overvåking av klimaendringer i kryosfæren. Prosjektet er et samarbeid mellom NR, UiT, NIBIO og EdInsights.

Earth observation (EO) systems offer unprecedented volumes of data. To utilize this information, automated analysis of EO data is an ongoing research activity. Deep learning (DL) has revolutionized the analysis of image data and is currently state-of-the art for solving a wide range of remote sensing tasks. However, although DL can fit a relatively accurate mapping of the input data, it can easily fail to capture underlying rules and constraints. The project goals are to integrate human knowledge, constraints and physics into DL models, to develop semi-supervised learning (SSL) methods that utilizes human knowledge, and to develop methodology to estimate the corresponding pixel-wise uncertainties. Critical R&D challenges include design of knowledge graphs and how such graphs can be efficiently integrated into DL models, how to perform SSL for multi-sensor and multi-temporal data where modalities may be missing, how to utilize integrated knowledge for improved learning capabilities, and how to efficiently model the pixel-wise uncertainties. Methodology that enables the inclusion of human knowledge are of great interest within the research community and will have a big impact on next generation DL methods. This includes improved test accuracy, learning capabilities, trust, reliability, and understanding behind the reasoning. The methodology developed is generic and will therefore be applicable to other scientific challenges, outside of the stakeholders’ applications. The project focuses on two mapping challenges: wetland and snow cover. The outcome of this project will directly enhance our understanding of wetlands in Norway, and will contribute to reduced loss of wetland areas and maintenance of biodiversity and ecosystem services. Improved maps of snow cover will provide better estimates of water resources available for hydropower production. Moreover, improved snow cover estimates will enable better monitoring of climate changes in the cryosphere.