Learning from Deep learning

Hvordan kan nevrale nettverk bedre enn etablerte prognostiske markører forutsi pasientutfall flere år senere, kun ved hjelp av enkle mikroskopi-bilder av kreftvev? Hvilke egenskaper ved kreftvevet avslører pasientens utfall, og hva kan dette lære oss om metastatiske prosesser? Hovedmålet med dette prosjektet er å gi, i det minste delvis, svar på disse spørsmålene. Fokus for WP1 er å kartlegge vevet ved hjelp av multiparametriske biomarkører, og samholde disse med prediksjon fra nevrale nett i både tarm- og prostatakreft (CRC og PCa). I løpet av prosjektets første år har vi selektert 455 prostatektomier fra pasienter med distinkt god/dårlig prognose. Disse er snittet og farget med både HE- og Feulgen-farging, dokumentert på Aperio-, XR- og HighRes-skannere. De HE-fargede vevssnittene er grunnlaget for vår DoMore prognostiske markør, men gir også strukturell informasjon for tumoridentifikasjon, histologisk klassifisering, kvantifisering av stroma/epitel-forhold og mitosetelling. Feulgen er en DNA-spesifikk farge som blant annet benyttes til segmentering av cellekjerner, kvantifisering av DNA-innhold, nukleoli og kromatinorganisasjon. Et parallelt snitt er HE-farget før sekvensiell immunfarging. For PCa har vi brukt en målrettet tilnærming hvor relevante prognostiske mål involvert i genomisk instabilitet, celledeling og gener kjent for å være opp- eller nedregulert i kreft, samt gener med en etablert rolle i PCa, ble kvantifisert på transkript- og proteinuttrykksnivå. De som viste prognostisk relevans er nå validert i eksterne pasientkohorter, noe som har resultert i et utvalg på 8 kandidater for sekvensiell farging, og en protokoll for sekvensiell immunfarging for disse proteinene er optimalisert. I en parallell vevsblokk har vi utført grunn (30 GB) helgenomsekvensering. Amplifikasjoner og delesjoner i genomiske regioner som er rapportert å være assosiert med pasientutfall vil her kunne bli validert. For CRC-materialet har vi valgt en mer utforskende tilnærming, der transkriptomet vil bli analysert in situ ved bruk av «spatial biology»-teknikker. Dette vil muliggjøre en dyptgående analyse av områdene som er kategorisert som prognostisk viktige av DoMore-klassifikatoren. Vi utfører for øyeblikket piloter for å bestemme passende plattform for disse analysene. I WP2 er målet bl.a. å utvikle og trene cellekjernebaserte prognosemarkører samt å undersøke hvordan høyere bildeoppløsning (her 60x) påvirker prognosemarkørens nøyaktighet. Vi har segmentert cellekjerner i både 40x og 60x bildeoppløsning. Segmenteringen av kjerner i 60x Feulgen-skann ga nøyaktige resultater som vil være nyttige for metoder som Nucleotyping og DNA-ploidi. Segmenteringen i 40x HE-skann ga flere, men mindre nøyaktige segmenteringer, og har blitt brukt til å genere 87 millioner høyoppløslige bilder av cellekjerner fra 60x HE-skann. Disse vil være utgangspunkt for trening av prognosemarkører, etter vurdering av bildekvalitet. Trening av prognosemarkører med høyoppløselige bilder er basert på 60x småbilder (tiles). Vi har generert tiles med 60x, 40x og 10x oppløsning fra HighRes 60x HE-skannene, og også 40x og 10x tiles fra de tilsvarende Aperio 40x HE-skannene, for sammenligning. Tidligere trente DoMore-nettverk har blitt anvendt direkte på disse tilene uten å utføre en re-trening. Neste steg vil være å re-trene DoMore-klassifikatoren på tiles med 60x oppløsning. I WP3 bruker vi verktøyene fra WP2 til å forklare DoMore-klassifikatoren vha den biologiske kartleggingen fra WP1. Vi har utviklet en ny metode for å justere skann av ulike farginger i samme snitt med celle-til-celle nøyaktighet. Den fungerer på tvers av forskjellige skannere, oppløsninger, farger og til og med forskjellige formater. Den opererer ved å oppdage de samme detaljene i de to skannene og strekker det ene bildet elastisk for å passe det andre. Metoden analyser hver celle i forhold til alle tilgjengelige målinger og lager rapporter og statistikker, inkludert tellinger for celler i mitose, positive og negative immunskåringer, og om cellen er innenfor stroma, tumor eller bakgrunnsområder. Varmekart kan genereres for ploidi og immunskåring. Etter hvert som flere metoder utvikles, vil deres resultater bli inkludert i de genererte statistikkene og rapportene. HistoTracker, tidligere kalt MicroTracker, har blitt optimalisert for hastighet slik at alle operasjoner er raske og responsive for intuitiv interaktiv hva-hvis-økter. Veldig kompakte binære dataformater har blitt utviklet for å laste de store mengdene data som er nødvendige så hurtig som mulig. All funksjonalitet i HistoTracker er nå integrert i vår generelle bildevisningsapplikasjon: SeeMore. SeeMore-applikasjonen har mekanismer for å laste modulære tillegg for å utføre spesifikke oppgaver, som å bruke nevrale nettverk for å finne celler i mitose eller oppdage områder som er ute av fokus.

A rapidly increasing number of publications now demonstrate high performance of convolutional neural networks in medical diagnostics. However, few of these systems have reached the clinic, an important reason being their “black box” nature - the basis of their predictions is not traceable by humans. We have recently developed the DoMore-v1 classifier, a deep learning system for predicting patient outcome in colorectal cancer (Skrede et al., Lancet 2020;395:350-360). When independently tested on 1122 patients, the classifier outperformed all current prognostic biomarkers. However, an intriguing question remains: How can neural networks utilizing plain microscopic tissue images to predict patient outcome years later? Recent developments have provided methods that enhance our ability to visualize image areas of particular importance to network predictions. However, it seems unlikely that satisfactory understanding can be obtained without supplementing such information with concrete biomedical information, including biochemical measurements on cellular level. This latter information must be provided on image form, aligned to the images showing areas of particular importance to outcome predictions. Thus, the first work-packages in the project develop methods for simultaneous displaying various biochemical markers in pathological images and further develop tools for identifying the same cells in different images. The next packages aim at adapting and testing visualization methods to make them suitable for revealing features in pathological images utilized by prediction networks, while the last project activity is to connect important image characteristics and the biomedical markers. Through this combined biological and machine learning approach, we intend to provide methods to make our own and similar networks more transparent and thus easier to use for clinicians, as well as to improve our understanding of the biological mechanisms underlying metastatic disease.