Combining spectral and image information in the analysis of hyperspectral imaging data

I den fascinerende verdenen av moderne biologi og medisin bruker forskere banebrytende teknikker for å avdekke hemmelighetene til biologiske materialer. En slik nyskapende metode som har blitt mer og mer framtredende er infrarød mikrospektroskopisk avbildning. Denne innovative spektroskopiske teknikken muliggjør kjemisk karakterisering av forskjellige biologiske materialer, og gir et unikt biokjemisk fingeravtrykk. Forestill deg en mikroskopisk verden der hvert bildepunkt fanger opp et komplett infrarødt spektrum, som spenner over tusenvis av bølgelengder. Denne enorme mengden data, samlet fra utallige prøver og pasienter, resulterer i betydelige datasett. Mens nåværende anvendelser benytter maskinlæring for å undersøke kjemiske spektrale egenskaper, revolusjonere DeepHyperSpec-prosjektet feltet ved å også utnytte morfologisk og optisk informasjon fra infrarød mikrospektroskopiske bilder. DeepHyperSpec har som mål å kombinere kompleksitetene av morfologi, sprednings og absorpsjons- egenskapenes i disse bildene, og baner veien for avanserte datavitenskapstilnærminger. Prosjektet streber etter en dypere forståelse av forholdet mellom disse egenskapene, noe som fører til nøyaktig karakterisering og klassifisering av biologiske materialer. I et betydningsfullt gjennombrudd dykket prosjektet ned i den analytiske beskrivelsen av spredning og absorpsjon av infrarød stråling i mikroskopiske prøver i den virkelige verden. Forståelsen av at biologiske celler sjelden har perfekte sfæriske former, ledet prosjektet til å utforske koblingen mellom morfologiske egenskaper til celler og dens innvirkning på spektroskopiske resultater. Resultatene bekreftet bruken av analytiske modeller for korreksjon av Mie-spredningseffekter, en avgjørende faktor i den beregningsorienterte gjenopprettingen av rene absorpsjonsspektre. En spennende utvikling kom med introduksjonen av en 3D diffraksjonstomografisk tilnærming for infrarød mikrospektroskopi. Ved å utnytte dype nevrale nettverk håndterer forskere det spektroskopiske inversspredningsproblemet. Den nye metoden kan avbilde den romlige distribusjonen av kjemiske sammensetninger med enestående nøyaktighet. Denne tilnærmingen gir ikke bare detaljert innsikt inn i det indre og membranen til biologiske celler, men utforsker også muligheten for 3D-avbildning med oppløsning bedre enn diffraksjonsgrensen. Denne nye tilnærmingen er blitt publisert i et høyt rangert tidsskrift. Videre har vårt prosjekt nylig avduket en serie avanserte nevrale nettverk designet for å håndtere den komplekse utfordringen med invers spredning. Ved å tilpasse løsningsrommet både kjemisk og fysisk, kan vi utforske hittil ukjente løsninger av problemet. Vi er spesielt begeistret for våre hybridmodeller, der vi har kombinert kraften til fysiske modeller med finesse i parameterestimering. Følg med videre, for disse banebrytende funnene er snart klare for publisering og vil innlede en ny æra av forståelse av invers sprednings problemer.

Infrared microspectroscopic imaging is a new technique for rapid, label-free and automated diagnosis of various types of cancer. The technique is expected to enter clinical routine analysis in the years coming. The information content in infrared microspectroscopic image data is overwhelming. An infrared microspectroscopic image typically consists of several thousands to several hundred thousands of pixels, with a full infrared spectrum with several thousand frequency readings in every pixel. Today, only chemical information extracted from the spectral domain is used for classification of tissues into healthy tissue and different cancer types. While morphological information is utilized in medical image analysis of histological images without a spectral domain, the morphological information in the analysis of infrared microspectroscopic images is ignored. DeepHyperSpec will combine deep learning methods with multivariate modelling of scattering and absorption in biomedical vibrational spectroscopy in order to develop a new paradigm for the analysis of hyperspectral imaging data. The acquired knowledge and methodology will allow to fully exploit the spectral and the image domain in hyperspectral imaging data and thus substantially increase the precision, interpretability and stability of classification models. The results of DeepHyperSpec will have an impact on other fields employing hyperspectral imaging, such as geospatial hyperspectral imaging and monitoring by satellites and drones. The research will be conducted by the multidisciplinary Biospectroscopy and Data Modelling (BioSpec) Group at the Faculty of Science and Technology/Realtek, NMBU in close collaboration with four internationally renowned research teams.