The Holocare Cloud project aims at cloud-based automatic 3D modelling using machine learning, to transform medical images into holograms for use during surgical planning.
This technology will be tested and validated in two different areas of specialized surgery: repair of congenital heart defects and tissue-saving surgery for liver tumors.
The aim is automatic segmentation (making 3D models) from regular CT and MRI datasets. These are processed into holograms that provide real 3D as opposed to flat (2D) screens. A central part of the concept is moving the 3D reconstruction out of the surgeon's subjective imagination and into a holographic representation of image data.
Three main project parts:
1. Secure cloud solution for import, storage and export of images and holograms
2. Automatic conversion of medical images (CT, MR) into holograms based on artificial intelligence
3. Clinical testing, further development and final validation of clinical applications
The project is owned by Sopra Steria in collaboration with The Intervention Centre at Oslo University Hospital as research partner. Microsoft is industrial partner. The project includes patients treated for congenital heart defects at the Department of Pediatric Cardiology and Thoracic Surgery at OUS, and for liver cancer at Department of Surgery, section for Hepato-Pancreato-Biliary (HPB) Surgery and The Intervention Centre at OUS.
The first phase of the project has been to establish a safe and reliable cloud solution in line with the GDPR regulation to protect sensitive data. The second phase is running in parallel with phase one and is to collect and analyze a sufficient number of image data to train algorithms for automatic segmentation of heart- and liver images. Status for phase two is that we now through our research and development activity in the project have AI algorithms for automatic segmentation for heart and liver. The Liver- and Heart applications are functionally almost done. Access to server and applications are available for research purposes only with a CE Mark Class 1. Detailed plans are made for the third phase of the project with clinical validation studies and research on the Heart- and Liver applications connected to the cloud solution and the certification of this towards CE mark approved services and possibly an FDA approval by Q3/Q4 2022. As of today we are on track to complete the technical solution by the end of Q2 2022.
-
HoloCare Cloud, er en skyløsning som skal tilby kommersialiserbar klinisk visualisering for planlegging av -og veiledning under laparoskopisk leverreseksjon og kirurgisk behandling av medfødte hjertefeil hos barn, ved bruk av holografiske 3D-briller og maskinlæring for automatisert bildesegmentering. Våre tjenester skal via en sikker oppkobling mot en skyløsning muliggjøre en global markedsplass for norskutviklede løsninger for pasientspesifikk holografisk visualisering.
Per i dag går standard visualisering av pasientens anatomi for diagnostikk og planlegging av operasjon ut på å bla gjennom snittbilder fra volumopptak fra CT og MR på todimensjonale skjermer. I de tilfellene hvor en ønsker en 3D-modell av et organ, vises denne også som et manipulerbart objekt på 2D-skjermer, eller stereoskopisk på 3D skjermer og ved bruk av polariserte briller. I HoloCare har vi utviklet prototyp-løsninger som benytter Microsoft HoloLens til å visualisere og manipulere 3D-objekter som hologram. Disse ”proof of concept” applikasjonene gir brukeren en helt annen virkelighetsopplevelse av pasientens spesifikke anatomi enn det dagens 3D-visualisering på flatskjerm gjør. HoloCares løsninger åpner dermed opp for en helt ny måte å kommunisere visuell informasjon på, samtidig som den muliggjør en unik form for samhandling mellom brukerne.
Prosjektet HoloCare Cloud har til hensikt å videreføre våre «proof of concept»-applikasjoner for Mixed Reality-basert visualisering av 3D-anatomi for kirurgisk planlegging og navigasjon ved henholdsvis laparoskopisk leverreseksjon og reparasjon av medfødt hjertefeil. Disse prototypløsningene skal legges inn i en kommersiell løsning basert på skytjenester og automatisert generering av 3D-modeller for effektiv distribusjon og oppdatering til kunde, med så strømlinjeformet brukeropplevelse som mulig. Prosjektet er et samarbeid mellom Sopra Steria, Microsoft og Oslo Universitetssykehus.
