Cooperative Human Activity Recognition and Localization for Healthcare and Wellbeing

I 2030-agendaen for bærekraftig utvikling har De forente nasjoner (FN) etablert en handlingsplan for mennesker, planeten og velstand. Et av målene i denne agendaen er å "sikre sunne liv og fremme trivsel for alle i alle aldre". Det er flere faktorer som truer oppnåelsen av dette målet. Vi har en aldrende befolkning, og midlene til å støtte folks ønske om et selvstendig liv blir stadig knappere. Å gjøre det mulig for folk å forbli uavhengige lenger med minimale kostnader for samfunnet er en økende utfordring som krever tekniske løsninger i form av systemer for gjenkjenning av menneskelig aktivitet (HAR). I dette prosjektet foreslår vi en helt ny metode for utforming av HAR-systemer. Vår visjon er å gjenkjenne og lokalisere et stort antall ulike brukeraktiviteter med en pålitelighet på nesten 100 %. Vår visjon vil bli muliggjort gjennom den kommende 5. generasjonen (5G) av mobilkommunikasjonssystemer kombinert med massive MIMO-teknikker (multiple-input multiple-output) og kooperativ behandling av signaler fra radiofrekvenssensorer og lydsensorer. Vi skaper nye 5G-tjenester som gjør det mulig å gjenkjenne brukeraktivitet, noe som ikke bare er gunstig for alle involverte aktører, men for hele samfunnet. Prosjektkonsortiet består av åtte akademiske og industrielle partnere i verdensklasse fra fire land. Prosjektet er tverrfaglig, ettersom prosjektgruppen består av eksperter fra ulike fagområder som informasjons- og kommunikasjonsteknologi (IKT), matematikk, informatikk og e-helse. Lanseringen av prosjektet i januar 2020 ble sterkt påvirket av koronapandemien. På grunn av globale reiserestriksjoner var det ikke mulig å ansette alle doktorgradsstudenter og postdoktorstipendiater før i november 2020. I 1. kvartal 2020 ble det planlagte oppstartsmøtet erstattet av et nettmøte via Zoom. Alle hard- og programvarekomponenter som kreves for å samle inn MIMO-radiofrekvenssensordata og lydsensordata, er kjøpt inn. Med det nye utstyret ble den første målekampanjen gjennomført i fjerde kvartal 2020. Det er utviklet et ph.d.-kurs som for tiden tilbys til ph.d.-studentene som jobber i CareWell. I prosjektets andre år, 2021, ble det gjort store fremskritt innen både eksperimentelle og teoretiske forskningsområder. Flere målekampanjer har samlet inn kombinerte multimodesensordata med radiofrekvenssensorer, lydsensorer, optiske sensorer og bærbare sensorer. Multimodesensorsystemer har vist seg å kunne detektere menneskelig aktivitet med høyere nøyaktighet enn enkeltmodesensorsystemer. Et høydepunkt var utviklingen av en radiofrekvensbasert skritteller som også kan analysere gangsymmetri, noe som er viktig for e-helseapplikasjoner på sykehus og i hjemmet. Det andre nettbaserte prosjektmøtet ble arrangert i 3. kvartal 2021. I tillegg ble det utviklet en ny forelesning om "Intelligent High Frequency Sensing". I prosjektets tredje år, 2022, fullførte vi to paradigmeskifter i utviklingen av HAR-systemer. Det første paradigmeskiftet førte til en ny klasse av kanalmodeller for design av HAR-systemer ved hjelp av radarsensorer. Denne nye klassen av kanalmodeller muliggjorde det andre paradigmeskiftet fra tradisjonelle eksperimentbaserte designmetoder for HAR-systemer til en fullstendig programvarebasert designmetodikk. Ved å bruke vår programvarebaserte designmetode kan HAR-systemer nå trenes uten å involvere mennesker. Den grunnleggende ideen er at mennesker i designfasen erstattes av avatarer, som kan grupperes sammen for å representere en familie av aktive brukere av ulik størrelse, vekt og kjønn. Ved å erstatte mennesker med avatarer kan alle fysiske eksperimenter erstattes av simuleringer, noe som drastisk reduserer kostnader og utviklingstid i designfasen av HAR-systemer. Det tredje prosjektmøtet ble fysisk avholdt på UiA i 3. kvartal 2022. I CareWells siste år fokuserte vi på å utvikle en maskinvareprototyp av et HAR-system (Human Activity Recognition) ved hjelp av flere radarsensorer og maskinlæringsteknikker. HAR-systemet er opplært til å gjenkjenne syv dagligdagse aktiviteter, inkludert fall, gange, sitte ned, stå opp og plukke opp en gjenstand. I tillegg har HAR-systemet blitt trent opp til å gjenkjenne 17 sportsaktiviteter i innemiljøer, for eksempel hopping, knebøy, å sette en fot til siden (forover), løfte bena, opp- og nedbevegelser av armene, for å nevne noen få eksempler. Prototypen som er utviklet, fungerer i sanntid og har blitt demonstrert i en live-demonstrasjon for helsepersonell i Lillesand kommune. Det avsluttende fysiske prosjektmøtet ble arrangert i 3. kvartal 2023. Forskningsresultatene fra CareWell-prosjektet er publisert i 18 tidsskriftartikler, 11 konferanseartikler, 3 bokkapitler og 2 medie-/presseartikler. I tillegg har prosjektresultatene blitt formidlet gjennom 3 hovedforedrag og en rekke inviterte foredrag på internasjonale konferanser og universiteter.

Outcomes: The main project result is a prototype of a human activity recognition (HAR) system using multiple radar sensors and machine learning techniques. The HAR system has been trained to recognize seven activities of daily living, including falls, walking, sitting down, standing up, picking up an object. In addition, the HAR system has been trained to recognize 17 sport activities in indoor environments, such as jumping, squats, putting one foot to the side (forwards), lifting legs, up and down movements of the arms, to name just a few examples. The developed prototype operates in real-time and has successfully demonstrated in a live-demo to healthcare workers of Lillesand Municipality. One PhD student, Mr. Sahil Waqar (UiA), has submitted his PhD thesis in January 2024. During his 3-year contract at UiA, he published 5 journal papers as first author and co-authored 2 conference papers as second author. The other two PhD students, Mr. Masoud Mohtadifar (NTNU) and Mr. Hasan Najjar (UiA), are very late with their doctorates and were unable to complete their work in the expected time. The research results of the CareWell project have been published in 18 journal papers, 11 conference papers, 3 book chapters, and 2 media/press articles. Furthermore, the project results have been disseminated in 3 keynote presentations (ICTCT’20, MMS’23, and ECCE’23) and numerous invited talks at international conferences and universities. Impacts: CareWell offers a unique solution for monitoring systems for commercial companies providing services that are better to identify situations requiring attention. The proposed system collects a large amount of data that can be made available to various stakeholders, e.g., healthcare providers and policy makers, to further explore the short- and long-term trends in user activity. CareWell will bring substantial societal benefits and creates entirely new use cases in market segments beyond the healthcare and wellbeing sector, such as co-operative sports, interactive worker-robot collaboration, pedestrian safety systems, ambient assisted living, and Internet of Things. CareWell will create new market opportunities and services for 5G, which will strengthen the EU technology offer of innovative 5G solutions for industry.

In the 2030 Agenda for Sustainable Development, the United Nations (UN) has established a plan of action for people, planet, and prosperity. One of the goals in this agenda is to ''ensure healthy lives and promote well-being for all at all ages.'' The achievement of this objective is jeopardized by a number of factors. We have an ageing population, and the means to support people's desire for an independent life are becoming increasingly scarce. Enabling people to remain independent for longer with a minimum cost to society is an increasing challenge that calls for technical solutions in form of human activity recognition (HAR) systems. Current HAR systems include wearable sensors, which users can easily forget or ignore for comfort reasons. On the other hand, environmental sensors, such as video sensors, come at the cost of high privacy risks. Emergency buttons in current alternatives are ineffective if the patient cannot reach them or is incapacitated. These shortcomings prevent a wide adoption of current HAR techniques in the healthcare and wellbeing sector. In this project, we propose a radical new methodology for the design of HAR systems. Our vision is to recognize and to localize a large set of diverse user activities with a reliability of nearly 100%. Our vision will be enabled through the upcoming 5th generation (5G) of mobile communication systems combined with cooperative processing of signals from radio frequency sensors and audio sensors. We offer new services for 5G systems by using massive MIMO (multiple-input multiple-output) and cooperative techniques to recognize user activities and to provide localization benefits for the entire community. The project consortium comprises 8 world-class academic and industry partners from 4 countries. The project is of interdisciplinary nature, as the project group consists of experts covering different disciplines, such as Information and Communication Technology (ICT), Mathematics, Computer Science, and eHealth.