Deep learning for sleep, mental, and emotional stage recognition from non-contact sensors of mental health patients.

Kvalitet i omsorg og pasientsikkerhet er av avgjørende betydning for klinisk personell og sykehusledelse. Prosjektet tar sikte på å designe, utvikle, teste og evaluere ytelsen til maskinlæringsbaserte overvåkings- og beslutningsstøtte-systemer med fysiologiske og atferdsdata. Forskningen deler seg i to studier. I den første studien gjør vi nattovervåking basert på et polysomnografisk datasett. I den andre studien vil vi overvåke på dagtid basert på data samlet inn fra videoovervåking og fysiologiske signaler samlet inn fra berøringsfrie sensorer. Resultatene vi har oppnådd så langt i nattovervåking ser lovende ut ettersom vi oppnådde høyere nøyaktighet sammenlignet med toppmoderne algoritmer, spesielt når vi klassifiserte søvnstadium N1. Den andre studien vil fokusere på overvåking på dagtid basert på videoovervåking og innspill fra leger. Vi vil gjøre objektdeteksjonen og kommentere handlingen ved hjelp av maskinlæringsalgoritmer basert på handlinger klippet fra video. Først vil vi samle informasjonen fra legene og sykepleierne for den handlingen de ser etter når de overvåker en pasient som har en tendens til å skade seg selv og trenger intervensjon. Deretter vil vi prøve å etterligne handlingene fra dramastudenter og trene maskinlæringsmodellene, som automatisk vil merke disse handlingene.

R1: Predicting sleep stages Human activity monitoring is a well-established field but is mostly based on approaches which are inconvenient and intrusive. Sleep stage monitoring also relies on Polysomnography, which is conducted in hospitals or sleep labs, and the patient is required to wear several sensors. It is not yet known if the same level of results and accuracy can be achieved using machine learning algorithms with data collected from non- intrusive sensor. This thesis will, therefore, explore the potential of (R1) predicting the sleep stages using single non- intrusive sensors with deep learning. More specifically: • Relate sleep stages from EEG data to the sensors implemented during the research. • Model the dynamics of the sensor readings to sleep stages and stage transitions. R2: Detecting mental and emotional stages Emotion recognition from biometrics is relevant in a wide range of application domains including healthcare. Monitoring the emotional stages could be useful in identifying concerned behavior before they become serious. In this thesis, we will (R2) detect mental/emotional stages (using deep learning algorithms), which are precursors to suicide attempts from the patient behavior and vital signs by using non-intrusive sensors. More specifically: • We need to collect data by interviewing the psychiatric nurses/doctors to find out what tell-tale signs they are looking for while observing the patients on the suicide watch. • We need to model the behavior of the patients in conjunction with vital sign monitoring to detect the critical stage which requires intervention. R3: Improve the prediction using multiple sensors It is an open question of whether we can improve the prediction of sleep stages and emotional states using multiple non-intrusive sensors (R3).