Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

Machine Teaching for Explainable AI

Alternativ tittel: Forklarbar kunstig intelligens

Tildelt: kr 10,0 mill.

Det siste tiåret har vi sett en eksplosiv økning i bruken av avanserte AI-systemer, som Deep Learning. Disse systemene er basert på store datamengder og avgjørelsene som taes er ofte uforståelige for brukerne. Samtidig anvendes de som sentrale verktøy i beslutningsprosesser som angår både enkeltpersoner, næringsliv og samfunnet forøvrig. Det er derfor svært viktig at brukerne kan evaluere og stole på disse avgjørelsene. Feltet som kalles eXplainable Artificial Inteligence (XAI), altså ‘forklarbar kunstig intelligens’, har som mål å begrunne avgjørelser som taes av komplekse AI-systemer. Prosjektet er rettet mot eksempelbaserte forklaringer, med vekt på enkelheten av eksemplene. Vi vil utvikle matematiske formuleringer av enkelhet som går på tvers av ulike representasjonsdomener, og som korrelerer godt med hva mennesker oppfatter som enkelt. Basert på tidligere arbeid innen feltet Machine Teaching vil vi utvikle den konseptuelle og praktiske bruken av eksempelbaserte forklaringer, og slik bane vei for anvendelsen av Machine Teaching innen XAI. Prosjektet er et partnerskap mellom Universitetet i Bergen og VRAIN - et forskningssenter for AI i Valencia, samt Equinor og BKK AS, norske selskaper i energisektoren som har identifisert XAI som avgjørende for deres virksomhet. I begge selskapene anvendes moderne AI-systemer i flere beslutningsprosesser og det er viktig å få en forklaring på avgjørelsene som taes. Prosjektet vil gi brukere og eksperter større nytte av disse verktøyene, gjennom en bedret forståelse av den modellen av anvendelsesdomenet som AI-systemet utgjør, og bedret evne til å vurdere om beslutninger kan være tatt på feil grunnlag eller om de er svakt begrunnet.

The field of explainable artificial intelligence (XAI) is concerned with giving human users a better understanding of the behavior of complex AI systems. The last decade has witnessed an explosive rise in the use of decision systems built on modern AI techniques that are often opaque, such as deep learning. These are black-box systems used to predict sensitive individual information like credit score, insurance risk, and health status. Meanwhile, the GDPR contains clauses that introduce a right for all individuals to obtain “meaningful explanations of the logic involved” when automated decision-making takes place. This right represents an urgent scientific challenge and this is what XAI aims to deliver on. Machine teaching is an emerging field that has recently attracted attention in AI. Briefly, machine teaching can be considered as an inverse problem to machine learning where the goal is for the teacher to find the smallest training set that produces a target concept. This goal can be seen as compatible with the goals of explainable AI. We take the learner to be the human user, and the target concept to be (a part of) the black-box AI system that needs explanation. The machine teaching algorithm must find a small set of labelled examples that will allow the human to build her own model of the AI system and thereby arrive at an explanation of the target concept. We argue that since any machine learning model has been trained on data, then data is indeed the natural common language between the user and this model. The goal of this project is to develop the conceptual and practical setting of example-based explanation, applying and expanding the techniques of machine teaching to reach the goals of explainable AI and to meet the need for software and knowledge acquisition of the industrial partners Equinor and BKK AS.

Aktivitet:

IKTPLUSS-IKT og digital innovasjon