Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

Next generation Earth observation data analysis by integrating human knowledge and AI

Alternativ tittel: Neste generasjons analyseverktøy for jordobservasjonsdata basert på integrering av kjent kunnskap, føringer og fysikk i AI modellene

Tildelt: kr 11,9 mill.

Moderne AI-modeller er i stor grad datadrevne og er ofte trent fra mange (ofte tusenvis) eksempler av data med annoteringer. Med annoterte data mener vi data hvor innholdet i hvert sample er kjent. En svakhet ved slike datadrevne modeller er mangelen på sunn fornuft i form av å forstå kjente føringer, fysikk og andre regler som beskriver den virkelige verden. En konsekvens av dette er at når vi anvender modellene observerer vi ofte at prediksjonen kan motsi kjente føringer og regler. Målet med dette prosjektet er å forbedre dyplæringsmodeller, en populær type AI-modell, ved å utnytte og integrere menneskelig kunnskap, føringer og fysikk i modellene. VI vil deretter bruke disse nye modellene for å avansere automatisk analyse av jordobservasjonsdata. Bruk av slik kunnskap vil hjelpe opplæringen av dyplæringsmodellene mer effektive. Dette betyr at vi vil trenge færre data eksempler for å trene modellene godt eller for å gjøre treningen mer nøyaktig. Det åpner også nye muligheter for å bruke ikke-annoterte data for å trene dyplæringsmodeller. Prosjektet fokuserer på to jordobservasjonsutfordringer: kartlegging av myrområder og kartlegging av snødekke. Forventede resultater er forbedrede metoder for kartlegging av arealdekke. Dette vil bidra til bedre forvaltning av økosystemene i myrene. Forbedrede kart over snødekke vil gi bedre estimater av vannressurser tilgjengelig for vannkraftproduksjon og bedre overvåking av klimaendringer i kryosfæren. Prosjektet starter 1. august 2023, er et samarbeid mellom NR, UiT, NIBIO og Edinsights.

Earth observation (EO) systems offer unprecedented volumes of data. To utilize this information, automated analysis of EO data is an ongoing research activity. Deep learning (DL) has revolutionized the analysis of image data and is currently state-of-the art for solving a wide range of remote sensing tasks. However, although DL can fit a relatively accurate mapping of the input data, it can easily fail to capture underlying rules and constraints. The project goals are to integrate human knowledge, constraints and physics into DL models, to develop semi-supervised learning (SSL) methods that utilizes human knowledge, and to develop methodology to estimate the corresponding pixel-wise uncertainties. Critical R&D challenges include design of knowledge graphs and how such graphs can be efficiently integrated into DL models, how to perform SSL for multi-sensor and multi-temporal data where modalities may be missing, how to utilize integrated knowledge for improved learning capabilities, and how to efficiently model the pixel-wise uncertainties. Methodology that enables the inclusion of human knowledge are of great interest within the research community and will have a big impact on next generation DL methods. This includes improved test accuracy, learning capabilities, trust, reliability, and understanding behind the reasoning. The methodology developed is generic and will therefore be applicable to other scientific challenges, outside of the stakeholders’ applications. The project focuses on two mapping challenges: wetland and snow cover. The outcome of this project will directly enhance our understanding of wetlands in Norway, and will contribute to reduced loss of wetland areas and maintenance of biodiversity and ecosystem services. Improved maps of snow cover will provide better estimates of water resources available for hydropower production. Moreover, improved snow cover estimates will enable better monitoring of climate changes in the cryosphere.

Budsjettformål:

IKTPLUSS-IKT og digital innovasjon