Tools and Methods for Autonomous Analysis of Human Activities from Wearable Device Sensor Data

Målet for prosjektet AutoActive har vært å utvikle metoder, verktøy og algoritmer som skal forenkle forskning på menneskelig aktivitet og fysiologisk tilstand og ytelse basert på data fra ulike sensorer. Prosjektet ble startet opp i 2017 og avsluttes ved utgangen av 2022. Resultatene prosjektet har frembragt vil være til stor nytte i en lang rekke anvendelser, og er i prosjektet testet ut for to konkrete problemstillinger: Analyse av ytelse og teknikk innen idrett med spesielt fokus på langrenn, og oppfølging av personer med kronisk sykdom i form av multippel sklerose (MS). Prosjektet har vært ledet av SINTEF Digital, avdeling for Smarte Sensorer og Mikrosystemer, og har i tillegg involvert fem andre forskningspartnere: 1) Senter for Toppidrettsforskning ved NTNU (SenTIF), 2) Olympiatoppen, 3) Nevrologisk avdeling ved OUS, 4) Gruppe for Digital signalbehandling og bildeanalyse ved UiO, og 5) MS-senteret i Hakadal. Prosjektet har hatt utfordringer med personell og nedstengning knyttet til Covid-19 pandemien, men har til tross for dette nå klart å gjennomføre alle de planlagte datainnsamlingene i prosjektet. Samarbeidet i konsortiet har vært meget godt. Prosjektet har resultert i 21 vitenskapelige artikler i tidsskrifter med fagfellevurdering, 16 populærvitenskapelige publikasjoner, 34 brukerrettede formidlingstiltak i form av rapporter, nyheter og konferansepresentasjoner, samt flere oppslag i massemedia. Det er fortsatt fem vitenskapelige artikler under utarbeidelse, hvorav fire vil sluttstilles og publiseres innen utgangen av første kvartal 2023. Den tekniske kjernen i prosjektet, AutoActive Research Environment, mottar, synkroniserer og visualiserer sensordata og er publisert på GIT-hub til fri utnyttelse. Det er også publisert en vitenskapelig artikkel om utviklingen i Journal of Open Source Software i 2022. For å sikre at plattformen ble utviklet i tråd med brukerkravene har det underveis i utviklingen vært jevnlige møter mellom utviklerne og referansegruppen, hvor det sitter representanter fra begge brukerscenariene. I idretts-caset er det fullført seks datainnsamlinger for langrennsutøvere på mosjons- og elitenivå: I laboratoriet på Senter for Toppidrettsforskning i Granåsen, utendørs i Holmenkollen nasjonalanlegg på rulleski, samt i Grova skisenter i Meråker, i Granåsen skisenter i Trondheim og i Karidalen skisenter ved Gjøvik på snø. Disse datainnsamlingene har dannet grunnlaget for mange vitenskapelige artikler publisert i ulike vitenskapelige tidsskrifter; Frontiers, Sensors, Plus One, Sports Biomechanics, International Journal of Sports Physiology and Performance og International Journal of Sports Medicine. Ytterligere tre vitenskapelige artikler er under arbeid. Resultatene er videre presentert på seks ulike internasjonale konferanser; Nordic Winter Sport Conference i 2019 og 2022, Olympiatoppens forskningskonferanse i 2019, European College of Sport Science (ECSS) i 2020 og 2022 og S11.13 Third Annual Symposium On Sport Sciences ved Aalborg University i 2021. Det er også gjennomført en datainnsamling på veltrente syklister på Høyskolen Kristiania. Dette arbeidet ble presentert på ECSS konferansen både i 2020 og 2022, og en vitenskapelig artikkel ble publisert i Frontiers i 2022. I MS-caset ble en stor datainnsamling på 55 pasienter og 20 friske kontroller ved MS-senteret i Hakadal fullført i oktober 2021. Her er det samlet inn bevegelsesdata fra en rekke standard tester som er utført ved start og slutt av et rehabiliteringsopphold. Preliminære resultater er presentert ved konferansen European Network for Rehabilitation in MS (euRIMS) i 2020 og 2021 samt på The annual conference of the European Committee for treatment and research in multiple sclerosis (ECTRIMS) i 2022. Det er publisert en vitenskapelig artikkel i Journal of Neurology i 2022, og ytterligere to artikler er i sluttfasen og vil publiseres innen første kvartal 2023.

Resultatene fra AutoActive har vist at det er mulig å gjennomføre presise og komplekse datainnsamlinger ved bruk av bærbare sensorer, uavhengig av en laboratoriesetting. Dette kan ha stor betydning for videre forskning hvor man kan innhente data i en naturlig setting, noe som gir betydelig større mulighet til å forstå den enkelte pasient eller utøvers utfordringer og potensial for å opprettholde og/eller bedre egen funksjon og ytelse. Prosjektet har innhentet data fra to ulike case; idrett (langrenn) og multippel sklerose, MS (kronisk sykdom). Gjennom langrenns-caset er det vist at bruk av sensorer i felt kan benyttes til å gi umiddelbar feedback til utøvere, som gjør at de kan justere og tilpasse sin atferd for bedre prestasjon. Dette har betydelig overføringsverdi også for individualiserte rehabiliterings- og treningsforløp for pasienter. Resultatene fra prosjektet vil ha stor verdi i videre arbeid med sensorteknologi i felt, hvor målet bør være å få frem så presise data som mulig ved bruk av færrest mulig sensorer. I idretts-caset har prosjektet har jobbet tett med landslagene i langrenn, paralangrenn, roing og alpint. Det er gjennomført pilottesting og brukergruppemøter med Olympiatoppen og de ovennevnte idrettsforbundene med jevne mellomrom. Disse pilottestene og jevnlige brukergruppemøter anses som svært viktige for idretten, og prosjektet har hatt tett dialog med landslagstrenerne, idrettssjefen og mange av utøverne. Dette har gitt et unikt utgangspunkt for å utdanne og utvikle tjenestesystemene i disse idrettene, i tillegg gir det oss kontinuerlige tilbakemeldinger fra utøvere og trenere som hjelper videre forskning. For MS-caset har prosjektet synliggjort hvordan bruk av sensorteknologi kan kvantifisere bevegelse og funksjon. Dette vil redusere subjektiv fortolkning i vurderingen av hvert enkelt individ sin funksjon, og kan bidra til en bedre tilpasset og individualisert oppfølging. Prosjektet har også vist potensialet for å validere og eventuelt forbedre eksisterende kliniske tester. Kompetanseutviklingen gjennom utviklingen prosjektets analyseplattform, AutoActive Research Environment, har vært betydelig. I plattformen kan man innhente, sykronisere og visualisere data fra ulike sensorer. Dette har stor overføringsverdi til andre områder enn de to casene som har vært studert i prosjektet. Plattformen ligger åpent tilgjengelig og kan benyttes til analyse av bevegelsesdata og fysiologiske parametere innen en rekke andre anvendelser både i idrett og i helse- og rehabiliteringsfeltet. Det at plattformen ligger åpent tilgjengelig gir tilgang til andre forskningsmiljøer og mulighet for fremtidig samarbeid.

AutoActive is motivated by the need for better tools, methods and algorithms allowing extraction of reliable and useful information on human activity from heterogeneous sensor data. Present commercial systems can mainly give a direct mapping between a single measurement device and single parameters, for example GPS --> location and speed, and heart rate --> effort. However, to design and optimize such sensor solutions and algorithms is a long, empirical process that requires a broad range of competence. Access to this new level of information rely on - A physical and physiological understanding of the context and underlying processes, - A careful selection and combination of sensor devices - Data interpretation algorithms taking advantage of state-of-art data mining, machine learning and other multiparameter analysis methods. An open source software platform will be realised and used throughout the project to develop knowledge on how to collect and interpret data from multiple wearable sensor streams. General project results will be applied in two case studies to verify the project approach and methodology, as well as to demonstrate the potential of the technology. One case will be devoted to performance and technique assessment in sports, and one will be devoted to disease management for patients with multiple sclerosis. The project unites a multidisciplinary research team with partners from NTNU, Olympiatoppen, OUS, MS Senteret Hakadal, UiO, and SINTEF (leader), and will educate one PhD, at least 5 M.Sc and 2 part time Post.Docs.