Multimodal Elderly Care Systems (MECS)

Andelen eldre i verdens befolkning øker. Derfor øker antallet eldre mennesker som bor alene hjemme i en del av livet, og denne trenden forventes å fortsette. Utfordringen vil da være å tilby teknologi som kan fungere i de komplekse og ulike miljøene som finnes i hjemmene. Videre kan teknologien lett bli sett på som en trussel mot personvern og mangel på mellommenneskelig kontakt. Dette prosjektet har adressert disse problemene gjennom brukersentrert design av robotsystemer og utvikling av tilpasningsdyktig teknologi. En del av dette har vært å demonstrere fordelene både med hensyn på ytelse og at personvernet blir forbedret ved å bruke sensorer som kameraer på en robotfølgesvenn i stedet for å ha dem permanent montert i en bolig. Disse kan bli brukt for å gjenkjenne fall og andre ikke-normale situasjoner. Ved hjelp av ny sensorteknologi, har vi undersøkt om det er mulig å fjernovervåke hvilke aktiviteter en person utfører og om de er normale eller unormale. Snarere enn at den eldre selv må aktivere sin personlige trygghetsalarm i en nødssituasjon, har det i prosjektet vært et mål å utvikle metoder som kan bidra til automatisk aktivering. Forskningen har blitt dokumentert gjennom 56 fagfellevurderte vitenskapelige artikler i tidsskrifter og konferanser, og mer enn 100 andre offentlige og brukerorienterte formidlinger. Viktige bidragsytere til arbeidet har vært to PhD-kandidater og 11 MSc-studenter som har blitt uteksaminert med prosjektrelatert arbeid og rapporter. Mange systemer for eldre har blitt designet, men få har blitt tatt i bruk i stor skala. Vi tror en viktig årsak til dette er begrenset brukerinvolvering og brukertesting. Derfor har vi fokusert spesielt på å involvere eldre gjennom hele prosjektet. I første fase av prosjektet omfattet det samarbeid med beboere og ledelse på Kampen Omsorg+ (boliger for eldre) i form av seminarer, intervjuer og uttesting av robotteknologi. En studie har undersøkt møtet mellom beboere og en robot-prototyp. Vi har gjennomført en undersøkelse med hyllevare støvsugeroboter, der eldre hadde en hjemme hos seg og rapporterte om hvordan det fungerer å ha den hos seg. Parallelt har vi gjennomført teknologiforskning for gjenkjenning av menneskelig aktivitet ved hjelp av forskjellige sensorer som dybdekamera, termiske og ultrabredbåndssensorer. Ansiktsuttrykksgjenkjenning ved hjelp av dybdekamerabilder har også blitt studert. Modellene som brukes til gjenkjenning er trent med det nyeste av dyplæringsalgoritmer, og inkluderer også et sett med forskjellige teknikker for egenskapsuttrekking som testes og sammenlignes. For å øke personvernet til en bruker, har vi hatt en spesiell interesse for å teste ytelsen til en ny ultrabredbåndsensor. Det finnes ingen datasett tilgjengelig, så vi har samlet inn våre egne data for en rekke forskjellige menneskelige aktiviteter og hjerteratenivåer. Dette er med et formål om å trene et system til å skille mellom normal og unormal tilstand hos en person på et soverom. Resultatene som er oppnådd så langt er lovende. Når det gjelder robotstyring, har vi jobbet med bevegelsesplanlegging for mobile roboter hvor fokus har vært på å framskaffe effektive navigasjonsstrategier for å håndtere den høye kompleksiteten til et hjemmemiljø. For å få en mer robust robotkontroll ble ideen om "navigasjon uten et kart'' undersøkt og resulterte i den "virtuelle opplevelsesmodellen" som gir roboten mulighet til å bevege seg i et helt ukjent terreng. Vi har undersøkt disse problemene ved hjelp av en type vurdering av personvern med tanke på en robot i hjemmet. For å ha en mer privatlivsvennlig robotfølgesvenn, har vi arbeidet med å bruke lasersensorer til kartlegging, navigering og menneskelig deteksjon. I tillegg til brukertesting ved Kampen Omsorg+, er brukertesting også blitt undersøkt gjennom et samarbeid mellom MECS prosjektgruppen, Eindhoven University of Technology, og Vitalis eldrehjem i Eindhoven i Nederland. Vi har gjennom dette samarbeidet gjennomført flere brukerstudier med fokus på forskjellige verbale og ikke-verbale oppførsler til en robot i samspillet mellom mennesker og roboter. Vi har også undersøkt dette i samarbeid med University of Hertfordshire i England. Dette inkluderte en MECS forsker på utveksling som gjennomførte eksperimenter med over 30 deltakere ved bruk av en av universitets roboter og deres Robothus. Dette arbeidet var en viktig del av doktorgradsavhandlingen som er et resultat av prosjektet og som ble forsvart i mars 2020. Til slutt kan vi nevnte at vi har vært involvert i komitearbeid for å definere en IEEE-standard for etisk dreven robotikk og automatiseringssystemer. To vitenskapelige artikler er også publisert med etikk som tema.

The impact of the project has been in progressing research on user-centred design of a mobile robot system that can act as an automated personal safety alarm. This has been addressed through research on robot sensing and control for a robot that can monitor the behaviour and condition of older people. We regard the project to have resulted in social, academic and industrial benefits through its 56 peer-reviewed scientific papers in journals and conferences more than 100 other public and user-oriented disseminations. Three of the paper have more than 60 citations at the end of the project. Another project outcome is that two PhD candidates and 11 MSc students have graduated with project-related work and reports. They benefit from getting competence in undertaking technical development and research in close collaboration with users. In summary, we think the project can contribute to future technology product development that can both increase life quality and reduce societal costs.

The number of elderly people living at home is increasing and this trend is expected to continue. The challenge then would be how to provide technology that can handle the complex and different environments found in homes. Further, technology can easily be seen as a threat to privacy and lack of interpersonal contact. This proposal addresses these issues by user centered design of systems and the development of adaptive technology. We will further in this project demonstrate the benefits regarding both performance and privacy being improved by applying sensors like cameras on a robot companion rather than having them permanently mounted in a home. These would be used for detecting falls and other non-normal situations. Using new sensor technology, we would also like to explore if it is possible to remotely monitor medical states like pulse, breathing etc. Rather than having elderly themselves activating their personal security alarm in the case of an emergency situation, a target of this project is to make this automatic and not dependent on the person carrying an alarm device. Many systems for elderly have been designed but few have been applied. We think a key reason for this is limited user involvement and few iterations of user testing. Therefore, we will focus specifically on developing our systems with a large degree of user participation. In conclusion, we will in this project like to implement and evaluate robotic elderly care systems with multimodal sensors that are able to sense, learn and predict future events. That is, by using complementary sensor technology and machine learning analysis and modeling techniques, we will target the development of novel monitoring systems to be applied in home care applications. Further, we will improve their usability through participatory design, involving users in actual use contexts.