Interpretable Deep Learning from Electronic Health Records under Learning Constraints

Pasient- og populasjonsdata fra forskjellige datakilder innen elektroniske pasientjournaler (EPJ - Engelsk: Electronic Health Records - EHR) blir viktigere og viktigere for datadrevet beslutningsstøtte og diagnosestøtte. Dette inkluderer medisinske bilder. Utvikling av tolkbar AI er en viktig komponent for å bygge tillit til klinisk beslutningsstøtte og diagnosestøtte. Dette prosjektet forsker spesielt på ny tolkbar metodikk innen dyp læring. I 2023 har vi publisert flere nyskapende metoder. Vi har utviklet en metode som kalles «Relax» og som gir brukeren av en bildeanalysesystem en visualisering av hvilke piksler i inputbilder som er mest «ansvarlig» for beslutningen som det dype nettverket foreslår. Denne nye metoden har vi videre utviklet for artikkelen «A clinically motivated self-supervised approach for content-based image retrieval of CT liver images» hvor formålet er å kunne tolke viktighet av piksler i CT-bilder med tanke på segmentering av leveren i konteksten av tarmkreft. Dette arbeidet er gjort i felleskap med klinikere og validert av klinikere. Vi har videre forsket på nye metoder for såkalt ikke-styrt klassifisering, altså der man har begrensede treningsdata, ved å bedre utnytte forskjellige bildemodaliteter på en synergistisk måte. Elementer av disse nye måtene å utføre dyp læring på har blitt publisert i journalen Medical Image Analysis for «multi-class medical image volume segmentation».

Patient and population specific data from heterogeneous Electronic Health Records (EHR) are becoming ubiquitous sources for data-driven decision and diagnosis support systems. Deep learning artificial intelligence technologies are emerging as the state-of-the-art for EHR analysis due to their ability to learn complex representations from raw clinical data to obtain strong predictive power combined with an inherent ability to accept multiple data types as input for heterogeneous data fusion. However, key problems and constraints for deep learning systems for health are their lack of interpretability, their inability to exploit vast amounts of unannotated patient data, and their hitherto inability to exploit contextual information to perform well in the low volume data regime, e.g. due to stratification. As a key solution, the DEEPehr project will develop interpretable deep learning predictive systems for a range of EHR input sources, focusing particularly on prediction and prevention of postoperative adverse events. Adverse events, such as infections, are potentially lethal, causing huge suffering for patients and huge costs for healthcare. DEEPehr will develop novel unsupervised and weakly supervised deep learning methodology to exploit the wealth of unannotated patient data for better quality of care, and will leverage the unique hierarchical nature of EHRs for utilizing contextual and prior information to extract new clinical knowledge from low data volumes. Project results and outcomes will impact DEEPehr's clinical stakeholders, and the potential to impact data-driven health and science beyond is great given the generic methodology development core of the project. DEEPehr is high risk because of the profound challenges and interdisciplinary nature of the endeavor, yet feasible due to the high quality of the team, the extensive mobility, and the top international collaborators, creating the synergy effects needed to reach the ambitious project objectives.