Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

NewbornTime – Improved newborn care based on video and artificial intelligence

Alternativ tittel: NewbornTime - Forbedret nyfødtomsorg basert på video og kunstig intelligens

Tildelt: kr 12,0 mill.

NewbornTime prosjektet handler om forbedret nyfødtomsorg ved bruk av kunstig intelligens (AI) for aktivitetsgjenkjenning i video fra tiden under og etter fødselen. Mangel på oksygen for et barn under og etter fødsel kan føre til fødselasfyksi, en ledende årsak til dødsfall for nyfødte, cerebral parese og annen langvarig skade. Dersom et barn trenger hjelp til å starte å puste, skal gjenoppliving startes umiddelbart i henhold til retningslinjer. Gjenopplivningsaktiviteter inkluderer stimulering, sug for fjerning av slim og bag-maske ventilering. I Norge trenger rundt 10% av termin barn stimulering og rundt 3% ventilering. NewbornTime prosjektet vil generere en tidslinje som beskriver hendelser og aktiviteter utført på nyfødte. Et nøyaktig fødselstidspunkt vil bli bestemt ved hjelp av AI-modeller brukt på infrarød (IR) termisk video tatt opp i fødestuen. Aktivitetsgjenkjenning vil bli utført ved hjelp av AI i form av dype konvolusjons nevrale nettverk (CNN) på både termisk video og RGB-video (optisk) fra gjenopplivingen. Systemet vil være designet for å kunne gjenkjenne flere tidsoverlappende aktiviteter. Innsats vil bli lagt i å lage AI-modeller som er robuste, pålitelige, generelle og adaptive for å kunne bruke de på forskjellige sykehus. Nyfødt-tidslinjen vil bli brukt til å evaluere samsvar med retningslinjer og til å identifisere vellykkede mønster av gjenopplivningsaktiviteter. De kan videre benyttes i de-briefing og kvalitetsforbedringsverktøy. Prosjektet er et samarbeidsprosjekt mellom Universitetet i Stavanger (UiS), Stavanger universitetssykehus (SUS), Laerdal Medical og BitYoga. UiS, SUS og Laerdal har lang samarbeidserfaring og kan vise til lovende resultater innen aktivitetsgjenkjenning fra gjenopplivningsvideoer fra sykehus i Tanzania. I NewbornTime prosjektet vil datainnsamlingen bli utført på SUS. BitYoga og Laerdal vil sikre smarte GDPR-kompatible datadelingskontrakter og dataplattform. UiS vil utvikle adaptive AI-metoder for aktivitetsgjenkjenning i video. NewbornTime hadde offisiell oppstart i mars 2021. Følgende resultater er oppnådd innen 30. november 2021: Forarbeid og informasjon: - Prosjektet har fått godkjenning fra REK (Regional etisk komité) og NSD (Norsk senter for forskningsdata). - Databehandlingsavtaler mellom partnere og underleverandører er signert - Informasjonsmateriell til deltagere og ansatte er utformet og inkluderer informasjonsvideo, eposter, hjemmesider til deltagere på norsk og engelsk samt hjemmeside med prosjektinformasjon www.uis.no/newborntime - Brukergruppe er opprettet og første møte gjennomført - Flere intervjuer om prosjektet er blitt gitt til media Ansettelser: - PhD stipendiat, Jorge García-Torres Fernandez, ansatt med oppstart 09.08.2021, prosjekttittel: «Hendelse- og aktivitetsgjenkjenning fra termisk og optisk video tatt under fødsel og nyfødt gjenopplivning» - Postdoc kandidat har signert kontrakt og forventet oppstart er i januar 2022. Utvikling av tekniske løsninger: - System for opptak av video er implementert på SUS. Termiske kamera er installert ved 4 fødestuer samt operasjonsstuen for keisersnitt, to kamera i hvert rom. Termiske kameraer er også installert i to resusciteringsrom, der optiske kamera er plassert over resusciteringsstasjonene. - Første versjon av digital samtykkeløsning teknologi er implementert - Sky-basert system for datalagring er implementert med følgende egenskaper: a) Sikkerhet med VPN og kryptering av data b) Automatisk innhenting av samtykkeinformasjon og studie ID fra digital samtykkeløsning c) Data prosesseres og lastes opp i sky-lagring i de-identifisert form etter 48 timer kun dersom samtykke er gitt. Datainnsamling: - Noe simuleringsdata har blitt samlet inn høst 2021 - Innsamling av samtykke startet 15.11.2021 - Datainnsamling startet 15.11.2021.

Birth asphyxia is a primary cause of death in newborns as well as the main cause of cerebral palsy and other development disorders in children, and immediate resuscitation of the newborn is crucial to reduce the risk. The NewbornTime project will provide a tool for quality improvement of newborn resuscitation both at a macro level, challenging current guidelines, and at a micro level providing a debriefing and quality improvement tool. Ultimately, this can have a significant impact in reducing long-term damage and save lives. The project aims to utilize video recordings from births and newborn resuscitation situations to develop an Artificial Intelligence (AI) based system, NewbornTimeline, for automatic timeline generation of time of birth as well as potential resuscitation activities like ventilation, stimulation, suction, and the number of health care providers involved. The system input will be based on thermal video from the delivery room and RGB (+ thermal) video from the resuscitation table. NewbornTime will use thermal cameras in the delivery room and develop video processing algorithms to accurately detect the time of birth. Potential obstacles between newborns and cameras require multiple thermal cameras and real-world data to develop robust algorithms. The project aims to explore semi-supervised learning of Deep Neural Networks (DNNs) for partly un-labeled and untrimmed videos for activity recognition during newborn resuscitation, as labeling of activities will be both time consuming and have privacy issues. There will also be a focus on solutions that can adapt to on-site environments, since variations between hospitals in different countries can be extensive. NewbornTime will develop a GDPR compliant and secure digital patient consent handling system and cloud-based storage for sensitive data. Such solutions can be transferred to other areas of video activity recognition on sensitive data for medical situations, as well as other non-sensitive data.

Publikasjoner hentet fra Cristin

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Aktivitet:

IKTPLUSS-IKT og digital innovasjon

Temaer og emner

LTP2 Styrket konkurransekraft og innovasjonsevnePortefølje LivsvitenskapHelseLTP2 Et kunnskapsintensivt næringsliv i hele landetPortefølje Demokrati, styring og fornyelsePortefølje Naturvitenskap og teknologiBransjer og næringerHelsenæringenPolitikk- og forvaltningsområderForskningLTP2 Innovasjon i stat og kommuneDigitalisering og bruk av IKTIKT forskningsområdeBransjer og næringerIKT-næringenFornyelse og innovasjon i offentlig sektorPolitikk- og forvaltningsområderLTP2 Helse, forebygging og behandlingLTP2 Utvikle fagmiljøer av fremragende kvalitetLTP2 Samfunnsikkerhet, sårbarhet og konfliktPortefølje Muliggjørende teknologierSamfunnssikkerhetPortefølje Industri og tjenestenæringerDigitalisering og bruk av IKTOffentlig sektorPolitikk- og forvaltningsområderHelse og omsorgFornyelse og innovasjon i offentlig sektorInnovasjonsprosjekter og prosjekter med forpliktende brukermedvirkningIKT forskningsområdeMenneske, samfunn og teknologiLTP2 IKT og digital transformasjonLTP2 Muliggjørende og industrielle teknologierLTP2 Fagmiljøer og talenterPolitikk- og forvaltningsområderNæring og handelBransjer og næringerPolitikk- og forvaltningsområderDigitaliseringIKT forskningsområdeKunstig intelligens, maskinlæring og dataanalyseIKT forskningsområdeVisualisering og brukergrensesnittLTP2 Samfunnssikkerhet og samhørighetInternasjonaliseringGrunnforskningPortefølje HelseLTP2 Fornyelse i offentlig sektorAnvendt forskningInternasjonaliseringInternasjonalt prosjektsamarbeid