Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

AI4Users: Responsible Use of Artificial Intelligence through Design for Accountability and Intelligibility

Alternativ tittel: AI4Users: Ansvarlig bruk av kunstig intelligens gjennom design (KI4Brukere)

Tildelt: kr 16,0 mill.

Prosjektet AI4Users tar et menneske-sentrert perspektiv på kunstig intelligens (KI). Prosjektet tar utgangspunkt i menneskene som KI brukere. Mennesker er til syvende og sist ansvarlige for KI-teknologier. Mennesker må derfor være involvert på en ikke-overfladisk måte for å sikre meningsfull menneskelig kontroll over dem. Forståelighet og ansvarlighet kan hjelpe brukerne til å bedre forstå, stole på og effektivt styre den nye generasjonen KI-applikasjoner. Forståelighet betyr at KI-teknologier må være forståelige med tanke på tilstand, informasjonen de prosesserer, evner og begrensninger. Dette er knyttet til generelle problemer ved KI-forklarbarhet. Noen av KI-applikasjonene er slik at vi ikke kan beskrive hvordan de egentlig virker, f.eks. hvorfor en gitt inndataverdi gir et bestemt resultat. Dette kalles ofte «svart boks»-problemet, og kan utgjøre et hinder for deltakelsen i å forme, bruke og overvåke bruken av kunstig intelligens i tjenesteytingen. Ansvarlighet og ansvarsgjøring er en annen sentral utfordring ved KI, noe som gjelder hele KI-livssyklusen fra utvikling til bruk og ytelsesovervåking. Prosjektet har gjennomgått eksisterende forskning på ansvarlighet og KI. Denne analysen har avslørt at at den nyeste forskningen innen feltet omhandler lignende problemstillinger som ble dekket av forskning utført allerede på 1980 tallet (sikring av åpenhet, opplæring av brukere til å forstå begrensningene ved KI, bestemmelse av juridisk status og bruksområder). Dette er en indikasjon på at de samme problemene vedvarer, men det viser også at det er hull i dekningen av nye spørsmål og utfordringer. I den første fasen av prosjektet ble en prototype for kunstig intelligens i en offentlig tjeneste utviklet og evaluert med 40 innbyggere som er representative for ulike aldersgrupper. Vi fant at innbyggerne krever åpenhet og foretrekker systemer som ikke er helautomatiserte (inkluderer "humans in the loop"). I løpet av det siste året har vi fordypet oss i forskningen vår om hvordan ansatte i offentlig tjeneste ser for seg å jobbe med kunstig intelligens (KI). Vi gjennomførte intervjuer og hospitering for å forstå deres perspektiver. Vi fant ut at de ser på KI som en verdifull samarbeidspartner som kan hjelpe dem med å utføre sine oppgaver mer effektivt og proaktivt. Vi har gjennom prosjektet vært engasjert i utdanningsaktiviteter om ansvarlig bruk av KI i offentlige tjenester. Vi designet, implementerte og evaluerte et kurs om ansvarlig KI i konteksten av offentlige velferdstjenester. Kurset ble kjørt over to semestre (2022, 2023) med totalt 49 studenter på NTNU, og planen er å kjøre kurset igjen i 2024. Vi benyttet et erfaringsbasert læringsparadigme og et kursdesign som fremmer tverrfaglig og problemorientert læring. Vår kursprotokoll er inspirert av design tenkning, og fremmer kontinuerlig læring ved å bygge en arena der studentene kan reflektere over læringsprosessen og økende bevissthet om ansvarlig KI. Kursprotokollen har blitt publisert i artikkelen «Educating about Responsible AI in IS: Designing a course based on Experiential Learning», som er nominert til den beste internasjonale utdanningsartikkelen i 2023 innen Information Systems Research (informasjonssystemerforskning) av Association for Information Systems (foreningen for informasjonssystemer) (beslutning tas i desember 2023). Ytterligere prosjektaktiviteter utføres etter metoden Action Design Research (ADR). ADR er en iterativ og adaptiv forskningsmetode knytter forskning nært til praksis. Metoden vektlegger samarbeid og er evalueringsdrevet. Prosjektet inkluderer a) design, prototyper og vurderingsverktøy som gjør det mulig for ulike ikke-eksperter å opprettholde innsikt i AI-applikasjoner, b) formalisering av designkunnskap generert i brukbare designprinsipper, c) kapasitetsbygging gjennom samarbeid mellom akademia og offentlig sektor nasjonalt og internasjonalt.

Infusing public services with AI solutions can contribute to efficiency and effectiveness improvements but this may come with an increase in opaqueness. This opaqueness can pose limits on involving humans in shaping, operating and monitoring the arrangements in place ensuring meaningful human control. The responsible use of AI entails ensuring algorithmic intelligibility and accountability. Intelligibility means that algorithms in use must be intelligible as to their state, the information they possess, their capabilities and limitations. Accountability means that it is possible to trace and identify responsibility for the results of algorithms. Both are required for using algorithms under human oversight. The AI4Users project will contribute to the responsible use of AI through the design and assessment of software tools and the formalisation of design principles for algorithmic accountability and intelligibility. The project takes a human-centred perspective addressing the needs of different groups implicated in AI-infused public services: citizens, case handlers at the operational level, middle managers and policy makers. The novelty of the AI4Users is that it targets specifically non-experts extending the reach of research beyond AI experts and data scientists. The use cases to be employed by the project will address different oversight scenarios including human-in-the-loop, human-on-the-loop and human-in-command. The User Organisation will be NAV and the project will be associated with NAV’s AI lab. The project research will be linked to NAV´s ongoing AI work and specific AI solutions under deployment. The project will seek access to case handlers in local NAV offices and NAV´s permanent local and national user committees (NAV Brukermedvirkning lokalt & nasjonalt). The overall aim is to advance the public infrastructures and contribute to introducing human-friendly and trustworthy artificial intelligence in practice.

Publikasjoner hentet fra Cristin

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Budsjettformål:

IKTPLUSS-IKT og digital innovasjon

Temaer og emner

InternasjonaliseringInternasjonalt prosjektsamarbeidKjønnsperspektiver i forskningIKT forskningsområdeVisualisering og brukergrensesnittFornyelse og innovasjon i offentlig sektorKjønnsperspektiver i forskningKjønn som perspektiv i problemstillingDelportefølje KjønnsperspektiverAnvendt forskningLTP3 Innovasjon i stat og kommuneIKT forskningsområdeMenneske, samfunn og teknologiPolitikk- og forvaltningsområderNæring og handelDelportefølje InternasjonaliseringPolitikk- og forvaltningsområderDigitaliseringInternasjonaliseringArbeidArbeidslivArbeidPolitikk- og forvaltningsområderForskningGrunnforskningLTP3 Tillit og fellesskapPolitikk- og forvaltningsområderLikestilling og inkluderingPortefølje ForskningssystemetBransjer og næringerAnnen tjenesteytingLTP3 Utenforskap, inkludering, kulturmøter og migrasjonIKT forskningsområdeKunstig intelligens, maskinlæring og dataanalysePortefølje InnovasjonBransjer og næringerIKT-næringenPortefølje Velferd og utdanningDelportefølje KvalitetDelportefølje Et velfungerende forskningssystemLTP3 Fagmiljøer og talenterLTP3 Høy kvalitet og tilgjengelighetDigitalisering og bruk av IKTOffentlig sektorBransjer og næringerPortefølje Banebrytende forskningFornyelse og innovasjon i offentlig sektorForskning for fornyelse av offentlig sektorDigitalisering og bruk av IKTLTP3 Et kunnskapsintensivt næringsliv i hele landetIKT forskningsområdePolitikk- og forvaltningsområderOffentlig administrasjon og forvaltningLTP3 Styrket konkurransekraft og innovasjonsevneLTP3 IKT og digital transformasjonPolitikk- og forvaltningsområderLTP3 Muliggjørende og industrielle teknologierPolitikk- og forvaltningsområderArbeidsliv - Politikk og forvaltningPortefølje Muliggjørende teknologier