Predictive and Intuitive Robot Companion (PIRC)

PIRC retter seg mot et psykologinspirert gjennombrudd i databehandling ved forskning som kombinerer innsikt fra kognitiv psykologi med kunstig intelligens for å bygge modeller som spår fremtidige hendelser og reagerer dynamisk. Systemene vil være bevisste og oppmerksomme på hvordan de skal handle best gitt kunnskapen deres om seg selv og deres oppfatning av omgivelsene. Mennesker forutser mange fremtidige hendelser mer effektivt enn datamaskiner. Vi kombinerer sansing på tvers av flere modaliteter med innlært kunnskap for å forutsi utfall og velge de beste handlingene. Kan vi overføre disse ferdighetene til intelligente systemer i menneske-interaktive scenarier? I PIRC kombinere vi vår kompetanse innen maskinlæring og robotikk, og samarbeider tett med forskere innen kognitiv nevropsykologi, for å anvende nye modeller av menneskelig prediksjon til persepsjon-handlingssløyfer for fremtidige intelligente robotassistenter. Arbeidet vårt vil gjøre det mulig for roboter å tilpasse seg og handle mer sømløst med omgivelsene sine enn dagens teknologi. Vi vil utstyre robotene med disse nye ferdighetene, og i tillegg gi dem kunnskapen om at brukere de samhandler med, anvender de samme mekanismene. Studier av menneskelig oppfatning og beslutningstaking er av spesiell relevans for å modellere atferd og forutse fremtidige hendelser og handlinger. Dette vil omfatte mekanismer for adaptiv responstid fra raskt og intuitivt til tregere og godt begrunnet. Modellene vil bli brukt i to robotikkapplikasjoner med potensial for meget stor samfunnsnytte: fysisk rehabilitering og robotstøtte for eldre mennesker som bor hjemme. I første fase av prosjektet var forskningen innen henholdsvis ulike prediksjonsmodeller og brukerstudier med seniordeltagere for å sammenligne ulike former for menneske-robot interaksjon. En masterstudent introduserte også en teknikk kalt "PINE: Planning and Identifying Neural Network" (2021). Den kan velge den mest relevante trente oppgaven for en robot, og hvis den er ukjent, velger den den mest lignende kjente oppgaven å bygge den nye læringen på. Deretter har en masterstudent uteksaminert våren 2022 hatt et prosjekt som implementerte en rehabiliteringsoppgave gjennom spilling med en PAL Robotics TIAGo-robot. Flere masterstudenter har videreført arbeidet med PIRC-relevante masteroppgaveprosjekter (uteksaminert henholdsvis våren 2023, 2024 og 2025). En første PhD-student startet i august 2021, leverte avhandlingen i august 2024 og hadde disputas i desember 2024. Fokus har vært på å forstå hvilken rolle menneskelig intuisjon spiller i menneske-robotinteraksjon angående ikke-verbal kommunikasjon. Det vil si at ved å kombinere metoder som blikksporing, pupillmålinger og undersøkelser kan vi få mer innsikt i hvordan mennesker forstår og tolker ulike robotatferder. Funnene har blitt publisert i flere ulike vitenskapelige artikler, både på konferanser og i anerkjente IEEE og Springer tidsskrift (2024). En arkitektur for intuitiv kognisjon er også foreslått og beskrevet i en artikkel som er innsendt til et tidsskrift. Vi har videre sett på hvordan mennesker intuitivt forstår robotatferd og studert hvordan man kan designe atferd for roboter for å få dem til å vise ulike personligheter. Denne studien ble gjort i samarbeid med University of Eindhoven. En ny doktorgradsstudent startet i august 2024, og deretter startet en postdoktor i november 2024. De har arbeidet med både robotsansing relatert til gjenkjenning av menneskelig aktivitet og kontroll relatert til dynamisk respons. Det siste handler om adaptiv responstid, fra rask og intuitiv til langsommere og veloverveid, avhengig av hvilken opplæring roboten har gjennomgått. Arbeidet med brukerstudier vil fortsette, og vi har siden 2022 hatt samarbeid med en boenhet av typen Omsorg+ der eldre bor i sin egen leilighet. Det inngår et aktivitetssenter for eldre der, og de ansatte og beboerne har bidratt med sine synspunkter på hvordan man kan forbedre robotassistanse-teknologien, i tillegg til å delta i brukerundersøkelser. Flere brukerstudier med TIAGo-roboten har blitt gjennomført der de siste årene. Fem artikler med funnene basert på TIAGo er publisert på fagfellevurderte internasjonale konferanser, og én er publisert i et tidsskrift. Basert på arbeid av en doktorgradsstudent, har vi også publisert to artikler (2022 og 2023) om forbedret robotarmreaksjonstid for å unngå kollisjoner ved en ny måte å utføre prediksjon av brukerposisjon på (ved å kombinere tradisjonell kontroll og forsterkningslæring). I tillegg har vi en rekke andre artikler publisert av tilknyttede forskere. Innen forskningsformidling, så har vi også formidlet prosjektets mål gjennom inviterte foredrag og opplæringsforedrag på ulike internasjonale konferanser, institusjoner og i mediaartikler. Se en populærvitenskapelig oversiktsartikkel her: https://elektronikk.prenly.com/p/elektronikk/2023-11/r/1/1/5683/1123083

PIRC targets a psychology-inspired computing breakthrough through research combining insight from cognitive psychology with computational intelligence to build models that forecast future events and respond dynamically. The systems will be aware and alert for how to best act given their knowledge about themselves and perception of their environment. Humans anticipate future events more effectively than computers. We combine sensing across multiple modalities with learned knowledge to predict outcomes and choose the best actions. Can we transfer these skills to intelligent systems in human-interactive scenarios? In PIRC, we will apply our machine learning and robotics expertise, and collaborate with researchers in cognitive psychology, to apply recent models of human prediction to perception-action loops of future intelligent robot companions. Our work will allow such robots to adapt and act more seamlessly with their environment than the current technology. We will equip the robots with these new skills and in addition, provide them with the knowledge that users they are interacting with, apply the same mechanisms. Studies of human perception and decision making are of special relevance to model behaviour and forecast future events and actions. This will include mechanisms for adaptive response time from quick and intuitive to slower and well-reasoned. The models will be applied in two robotics applications with potential for very wide impact: physical rehabilitation and home care robot support for older people. Psychology and biology have inspired several breakthroughs in artificial intelligence, such as the perceptron which underlies deep neural networks. We aim to develop similarly high-impact psychology-inspired predictive models. The unexplored nature of these models offers high potential gains, but significant risk. This is partly mitigated by the two different applications in PIRC, which help to uncover different benefits in the new methods.