EXAIGON - EXplainable AI systems for Gradual industry adoptiON

Kunstig intelligens («artificial intelligence» på engelsk, derfor ofte forkortet AI) er i ferd med å bli allestedsnærværende, og AI er disruptiv for bransjer som helsevesen, transport, produksjon, robotikk, detaljhandel, bank og energi. I følge en fersk europeisk studie vil AI kunne bidra med opptil EUR 13.3 billioner i den globale økonomien innen 2030. Mange av de seneste gjennombruddene innen AI har skjedd innen dyp læring (DL), der DL systemer har oppnådd bemerkelsesverdige resultater på oppgaver som tradisjonelt har vært utfordrende for maskiner. Dessverre resulterer den komplekse og lite intuitive interne strukturen i DL-modeller i mangel på tolkbarhet, mangel på robusthet og noen ganger også til en manglende evne til å generalisere til situasjoner utover de som er sett mens systemet ble lært opp. Disse problemene må løses for å gjøre AI-systemer pålitelige, sikre og anvendbare i kontakt med mennesker, i industri og i forretningskritiske applikasjoner. I prosjektet EXAIGON vil NTNU, SINTEF Digital, og internasjonale forskningspartnere møte disse utfordringene ved å utvikle brukersentriske forklaringsbaserte AI modeller («explainable AI» på engelsk, ofte forkortet XAI) for å forstå hvordan svart-boks-modeller gjør sine prediksjoner, og se på hva disse modellenes begrensninger er. Forskningen innen EXAIGON vil derfor bli knyttet opp mot industrielle problemstillinger (inkludert datasett, modeller og ekspertkunnskap) levert av syv samarbeidspartnere: DNB, DNV GL, Embron, Equinor, Kongsberg, Telenor og Trønderenergi. Hovedfokusområdene er overvåket maskinlæring, dyp forsterkningslæring, dype Bayesiske nettverk og sam-atferd mellom mennesker og maskiner. EXAIGON vil skape et XAI-økosystem rundt Norwegian Open AI-Lab, og resultatene vil være til nytte for forskere, industri og beslutningstakere som er bekymret for spørsmål om effektivitet, sikkerhet og respekt for menneskerettigheter som kan oppstå når AI-systemer anvendes i den virkelige verden. Per desember 2023 har prosjektet uteksaminert 22 MSc-studenter, bidratt til en rekke formidlingsaktiviteter og publisert flere vitenskapelige resultater. Prosjektets første ph.d.-student forsvarte doktorgradsavhandlingen sin i april 2023. Et viktig element i arbeidet hennes er fokuset på metoder som er egnet for sanntids robot-applikasjoner, og som kan forklares for ulike grupper av sluttbrukere. I tillegg var studenten 2 måneder i Australia som en del av et forskningsopphold ved gruppen til professor Tim Miller ved University of Melbourne. Prof. Tim Miller er en internasjonalt anerkjent ekspert innen XAI, og har vært medforfatter på to EXAIGON-publikasjoner. Forskerne i prosjektet har hatt flere møter med industripartnerne på jakt etter relevante industrielle problemstillinger, og vil forfølge dette målet videre i 2023.

The recent advances of Artificial Intelligence (AI) hold promise for significant benefits to society in the near future. However, in order to make AI systems deployable in social environments, industry and business-critical applications, several challenges related to their trustworthiness must be addressed first. Most of the recent AI breakthroughs can be attributed to the subfield of Deep Learning (DL), but, despite their impressive performance, DL models have drawbacks, with some of the most important being a) lack of transparency and interpretability, b) lack of robustness, and c) inability to generalize to situations beyond their past experiences. Explainable AI (XAI) aims at remedying these problems by developing methods for understanding how black-box models make their predictions and what are their limitations. The call for such solutions comes from the research community, the industry and high-level policy makers, who are concerned about the potential of deploying AI systems to the real world in terms of efficiency, safety, and respect for human rights. EXAIGON will advance the state-of-the-art in XAI by conducting research in four areas: 1. Supervised learning models 2. Deep reinforcement learning models 3. Deep Bayesian networks 4. Human-machine co-behaviour. Areas 1-3 involve design of new algorithms and will interact continuously with Area 4, to ensure the developed methods provide explanations understandable to humans. The developed methodologies will be evaluated in close collaboration with 7 industry partners, who have provided the consortium with business-critical use cases, including data, models and expert knowledge. The consortium includes two international partners from the University of Wisconsin-Madison, and University of Melbourne, respectively, who have conducted and published outstanding research in relevant areas over the last few years.