AI4Users: Responsible Use of Artificial Intelligence through Design for Accountability and Intelligibility

AI4Users-prosjektet hadde et menneskesentrert perspektiv på kunstig intelligens (KI). Prosjektet fokuserte spesielt på forståelighet og ansvarlighet som grunnleggende forutsetninger for ansvarlig bruk av KI i offentlige tjenester. Forståelighet og ansvarlighet kan hjelpe mennesker med å forstå, hensiktsmessig stole på og effektivt håndtere den fremvoksende generasjonen av KI-applikasjoner. Noen KI-applikasjoner kjennetegnes av at det ikke er mulig å beskrive nøyaktig hvordan de fungerer, for eksempel hvorfor en gitt inndataverdi gir et bestemt resultat. Dette kalles ofte «black box»-problemet og kan hindre menneskers mulighet til å delta i utforming, bruk og monitorering av KI. Forståelighet innebærer at KI-applikasjoner må være forståelige med hensyn til systemtilstand, informasjonen de benytter, samt deres evner og begrensninger. Ansvarlighet er en annen sentral utfordring og gjelder hele KI-livssyklusen, fra tidlig planlegging og utvikling til bruk. I løpet av prosjektet ble interaktive prototyper utviklet og evaluert i tett samarbeid med Arbeids- og velferdsetaten (NAV). Vi fant at både innbyggere og ansatte har behov for åpenhet om ulike aspekter ved KI-systemer, og at begge grupper foretrekker løsninger som støtter menneskelig kontroll. Studiene viser at brukertilpassede forklaringer, gradvis presentasjon av informasjon og tydeliggjøring av grensene mellom menneskelig og maskinell beslutningstaking er viktige. Vi undersøkte også hvordan ansatte i offentlige tjenester ser for seg å arbeide sammen med kunstig intelligens. Gjennom intervjuer og observasjoner i arbeidshverdagen fikk vi innsikt i deres perspektiver. Resultatene viser at de ansatte oppfatter KI som en verdifull samarbeidspartner som kan bidra til mer effektiv og proaktiv oppgaveløsning, samtidig som de vektlegger betydningen av å bevare faglig skjønn, ansvar og muligheten til å utfordre KI-beslutninger. I tillegg har prosjektet gitt ny innsikt i den tidlige fasen før KI tas i bruk, og viser hvordan tidlig planlegging og organisatorisk meningsskaping påvirker senere utfall. Gjennom hele prosjektperioden har vi vært engasjert i utdanningsaktiviteter knyttet til ansvarlig bruk av KI i offentlige tjenester. Vi har designet, gjennomført og integrert designutfordringer i undervisning. Vi har benyttet et erfaringsbasert læringsparadigme som fremmer tverrfaglig og problemorientert læring og utviklet en kursprotokoll for erfaringsbasert læring om ansvarlig kunstig intelligens i universitetsutdanning. I tillegg har vi utviklet og gjennomført to nye universitetskurs om menneskesentrert kunstig intelligens, inkludert ett tverrfaglig emne på bachelornivå, åpent for alle studieprogrammer, og ett avansert emne på masternivå. Samlet sett fulgte prosjektaktivitetene Action Design Research (ADR)-tilnærmingen. ADR er en iterativ og adaptiv forskningsmetode som er tett koblet til praksis, og som vektlegger samarbeid og kontinuerlig evaluering. Prosjektet omfattet a) design, prototyping og evaluering av verktøy som gjør det mulig for ulike grupper av ikke-eksperter å opprettholde innsikt i KI-applikasjoner, b) formalisering av designkunnskap i designprinsipper, og c) kapasitetsbygging gjennom samarbeid mellom akademia og offentlig sektor. For publikasjoner og annen informasjon, se prosjektets nettsider: https://ai4users.uia.no/publications/ og https://ai4users.uia.no/news/.

The AI4Users project generated scientific and capacity-building outcomes that directly address the challenges associated with the AI-infused digitalisation of public services. Through empirical, design-oriented research conducted in close collaboration with public-sector actors, the project produced tools in the form of interactive prototypes, and human-centred design principles that operationalise algorithmic intelligibility and accountability. The design principles can help organisations in addressing opacity, clarifying human–AI decision boundaries, supporting consent and contestation, and preserving professional discretion. Overall, the AI4Users project contributed to increased societal awareness and provided a concrete basis for fulfilling regulatory requirements related to transparency, human oversight, risk awareness, accountability and rights to explanation. Scientifically, AI4Users advanced Human-Centered and Responsible AI research by establishing a durable evidence base grounded in real-world public-sector contexts. The project’s peer-reviewed publications contribute theoretical clarification, conceptual frameworks, and insights that are increasingly used within the international research community. The project also contributes empirically grounded knowledge on the pre-implementation phase of AI in public services, showing how early planning and organisational sense-making shape outcomes and organising visions. By delineating future research agendas and consolidating fragmented research streams, the project’s results extend beyond the immediate empirical settings and support cumulative knowledge building. In terms of societal and institutional impact, AI4Users contributed to capacity building through sustained collaboration between academia and public-sector organisations. Through workshops, design challenges and educational integration the project strengthened competence among researchers, students, and practitioners. Furthermore, the project developed and empirically validated a course protocol for experiential learning on Responsible AI in university education, contributing to long-term competence building. These efforts align closely with the Norwegian National Strategy for AI, which highlights human-friendly and trustworthy AI as a strategic advantage. By embedding its results in education and long-term institutional collaborations, AI4Users established a foundation for continued impact on the responsible design, governance, and use of AI in public services in Norway and beyond.

Infusing public services with AI solutions can contribute to efficiency and effectiveness improvements but this may come with an increase in opaqueness. This opaqueness can pose limits on involving humans in shaping, operating and monitoring the arrangements in place ensuring meaningful human control. The responsible use of AI entails ensuring algorithmic intelligibility and accountability. Intelligibility means that algorithms in use must be intelligible as to their state, the information they possess, their capabilities and limitations. Accountability means that it is possible to trace and identify responsibility for the results of algorithms. Both are required for using algorithms under human oversight. The AI4Users project will contribute to the responsible use of AI through the design and assessment of software tools and the formalisation of design principles for algorithmic accountability and intelligibility. The project takes a human-centred perspective addressing the needs of different groups implicated in AI-infused public services: citizens, case handlers at the operational level, middle managers and policy makers. The novelty of the AI4Users is that it targets specifically non-experts extending the reach of research beyond AI experts and data scientists. The use cases to be employed by the project will address different oversight scenarios including human-in-the-loop, human-on-the-loop and human-in-command. The User Organisation will be NAV and the project will be associated with NAV’s AI lab. The project research will be linked to NAV´s ongoing AI work and specific AI solutions under deployment. The project will seek access to case handlers in local NAV offices and NAV´s permanent local and national user committees (NAV Brukermedvirkning lokalt & nasjonalt). The overall aim is to advance the public infrastructures and contribute to introducing human-friendly and trustworthy artificial intelligence in practice.