Engineering Predictability with Embodied Cognition

Mennesker er overlegne i forhold til datamaskiner og roboter når det gjelder å oppfatte med våre øyne, ører og andre sanser og kombinere sansingen med lært kunnskap i det å velge den beste responsen. Dette prosjektet har tatt sikte på å utvikle menneske-inspirerte modeller av oppførsel til mennesker og roboter i komplekse omgivelser og å vise at disse modellene har evnen til å forutsi fremtidig respons på en nøyaktig måte. Dette er basert på konseptet fra psykologi og filosofi kalt kroppslig kognisjon som går ut på at kroppen spiller en viktig rolle i intelligens. Målet har vært å utvikle effektive systemer med prediktiv resonnering som et alternativ til mer tradisjonelle reaktive systemer. Bidraget i dette prosjektet har vært utformingen av oppførsel-modeller, samt kombinere disse med prediktive systemer for å nøyaktig modellere atferd og forutsi fremtidige handlinger og hendelser. Modellene skal anvendes i innvevde systemer og ble testet i de tverrfaglige fagfeltene musikk og robotikk. Vårt mål innen musikk har vært å gi lytterne en mer aktiv kontroll over musikken inkludert evnen til å være i stand til å bevege seg innenfor et musikalsk landskap assistert av prediktive mekanismer. I robotikk har målet vært å demonstrere en robot som utfører koordinerte bevegelser og endrer sin kropp i henhold til omgivelsen. Aktivitet i prosjektet har omfattet utviklingen av en ny og fleksibel quadruped robotplattform og publisering av resultater fra eksperimenter med flerkriteriums optimalisering av gåmønstre. Vi har også utført eksperimenter der roboten oppnådde mer robust gåing på grunn av sensorassistert bensynkronisering. I 2018 lanserte vi en smarttelefon-musikkapplikasjon for å oppmuntre til kreativitet i hverdagen. Denne applikasjonen er i stand til å forutsi brukerens fremtidige handlinger ved å bruke dyp læring og generere "robojams" som mulige fortsettelser og lag på brukerens genererte musikk. Vårt arbeid innen musikk og robotteknologi er kombinert i EMPI, et elektronisk musikkinstrument som kontinuerlig forutsier brukerens neste bevegelse ved hjelp av et rekurrent nevralt nettverk og representerer dette gjennom lyd, samt fysiske bevegelser. Vi har i 2019 foretatt en brukerstudie med instrumentet og presentert både instrumentet og resultatene fra brukerundersøkelsen i en tidsskriftskriftartikkel som for øyeblikket er inne til vurdering. Vi har også utviklet og publisert teknikker for automatisk generering av interne modeller (hjerneinspirerte simuleringer av virkelige objekter), og vi fortsetter å anvende slike modeller i våre robotteknologier og musikkplattformer. Som en del av denne forskningen har vi også publisert en ny teknikk for mer effektiv optimalisering av nevrale nettverk med evolusjonsalgoritmer, ved å oppmuntre til mangfold i strukturer i den evolverende populasjonen. Vi har også brukt slik nevroutvikling på problemet med å overføre lærte ferdigheter på tvers av forskjellige oppgaver, og demonstrert potensialet for å redusere treningstiden ved å gjenbruke kunnskap. Vi har også publisert en oversikt over prediktive teknikker for interaktive musikksystemer og prediksjonsmekanismer for justeringsnivåer i høreapparatteknologi. En metode for automatisk kalibrering av 3D-kamerasensorer i forhold til en robot er også utviklet og publisert. Til slutt har vi også foretatt etikkarbeid og publisert en gjennomgang av etiske perspektiver innen robotteknologi og AI. Våre nye robot og musikalske plattformer har resultert i stor interesse fra populærvitenskapelige og almene medier. Artikler og videoer med vår robot ble formidlet til et svært stort publikum gjennom det internasjonale Wired, og vi har skapt interesse for vårt arbeid innen musikalsk kunstig intelligens på ulike arrangementer. Vår forskningsgruppe inkludert EPEC-prosjektet har ved flere anledninger blitt valgt ut for å vise fram teknologi ved statsrådsbesøk av henholdsvis næringsminister Torbjørn Røe Isaksen 31. august 2018 og Forsknings- og høyere utdanningsminister Iselin Nybø 19. september 2018. Dette har resultert i nyhetsoppslag i henholdsvis NRK og TV2. I 2019 arrangerte vi også "9. Joint IEEE Int. Conf. of Developmental Learning and Epigenetic Robotics" i Oslo 19-22 august 2019. Vi ble glade for antallet deltakere som totalt var 170 (hvor 30 deltok bare på workshopdagen) og en høy grad av tilfredshet blant konferansedeltagerne (samlet poengsum 4,74 i evalueringsskjemaet på en skala fra 1 til 5). Vi er generelt veldig tilfreds med gjennomføringen av prosjektet. Prosjektresultatene er formidlet gjennom 44 fagfellevurderte vitenskapelige artikler, 16 populærvitenskapelige publikasjoner / aktiviteter og 15 artikler i massemedier.

The project has contributed to making computing systems and robots more adaptive and proactive than existing such technology which is mostly fixed and reactive. The project has resulted in the researchers getting experience in interdisciplinary research, lecturing, supervision and proposal writing. The students at the Univ. of Oslo have got lectures integrated with research and also have through a new master/PhD course got experience in themselves undertaking research. We have released the MicroJam app to allow other people to test our interactive music concept resulting in more than 2000 recorded user performances. A developed adaptive robot platform has been offered open-source with documentation, code and design files being freely available. The project results have been disseminated through 44 peer-reviewed scientific papers, 16 pop. sci. publications/events and 15 articles in mass media.

Humans are superior to computers and robots when it comes to applying multimodal sensing together with learned knowledge in choosing the best actions. This project aims at developing human-inspired self-models of the behaviour of humans and robots as well as their environment and show that these models have the ability to predict future actions in an accurate way. This is based on the concept from psychology and philosophy called embodied cognition proposing that the body plays an important part in intelligence. The goal is to develop effective reasoning models as an alternative to the more traditional reactive systems. The novelty in this project is the design of self-models as well as combining these with predictive systems to accurately model behaviour and predict future actions and events. The models are to be applied in embedded systems and will be tested in the interdisciplinary fields of music and robotics where we expect significant breakthrough compared to state-of-the-art. This is by building on ideas stemming from our earlier work on addressing scalability through incremental approaches and hardware system design. Furthermore, the exploration of the systems in an interdisciplinary way is expected to contribute to groundbreaking results. The research in the project is divided into six work packages: (1) Sensing human motion and state, (2) Sensor data analysis, (3) Self-modeling with embodied cognition, (4) Predictive models, and one work package for each of the two use cases. The use cases include active music control and co-ordinated robotic actions, respectively.