The Intelligent Cardiovascular Ultrasound Scanner

INCUS prosjektet har handlet om å forebedre ultralydundersøkelser av hjertet ved å automatisere arbeideflyt, bildejusteringer , målinger og tildels tolking av bilder ved hjelp av kunstig intelligens. Gjennom prosjektet har vi i de fleste tilfeller fulgt følgende fremgangsmøte: - Innsamling av ultralydbilder - Manuell klassifisering/måling av ultralydbilder - Trening av dype nevrale nettverk - Validering av resultatene. I løpet av av INCUS programmet har vi etablert en større database med anonymiserte ultralyd bildesekvenser fra forkjellige pasient-populasjoner, med forskjellige etnisk bakrunn, forskjellig kjønn og alder. Bildesekvensene kommer fra ulike sykehus i Europa og Asia. I prosjektet har forskere, stipendiater og utviklere arbeidet sammen for å etablere flere konkrete anvendelser av kunstig intelligens i ultralyd: Gjenkjenning av "cardiac views": Vi kan gjenkjenne 11 forskjellige "cardiac views". Det beste opptrente nettverket som er basert på "ResNet-50" er i stand til å klassifisere 99 % av sekvensene i et validerings-sett riktig. Modellen for gjenkjenning av "cardiac views" har blitt integrert i ultralydscanneren - Vivid E95 - og er i salg i de fleste regioner i verden. Modellen klassifiserer og annoterer bildene i henhold til det gjenkjente "viewet" med stor nøyaktighet og veldig høy ytelse og bruker denne informasjonen til å gjøre flere arbeidsoppgaver raskere og med høyere kvalitet. Dette gjelder spesielt i et verktøy som kalles "Automated Functional Imaging" der arbeidsflyten er betydelig forbedret ved hjelp av view klassifisering. Arbeidet med "Automated Functional Imaging" har også i seg selv resultert i en meget nøyaktig algoritme for å estimere veggbevegelse lokalt i hjertemuskelen. Gjenkjenning av Doppler Spektrum: Til framtidige versjoner av ultralydscanneren har vi også utviklet en modell som kan gjenkjenne forskjellige Doppler spektrum. Leger undersøker blodhastigheter ved forskjellige klaffer i hjertet, og ved å kunne bestemme hvilken hastighetsmåling som er gjort kan mange målinger utføres helautomatisk. I tillegg er det utviklet en metode som finner hjertesykler direkte fra Doppler sekvenser. Det er en viktig egenskap i lang som det ikke er vanblig å bruke ECG, for eksempel i Kina. I prosjektets avsluttende fase har denne algoritmen blitt forbedret og vi har jobbet med å lage en publikasjon av resultatene. I prosjektets avsluttende fase ble det jobbet mye med å automatisere 2D distansemålinger. Algoritmen for dette er ferdigutiklet og under utprøving Auto-Frequency I løpet av prosjektet har det blitt utviklet en metode for å beregne hva som er optimal ultralyd frekvens fra et utvalg av frekvenser. Metoden måler bildekvalitet automatisk ved forskjellige frekvenser og velger den frekvensen som gir best bildekvalitet. I prosjektets avsluttende fase har det vært gjort mye jobb med å optimalisere hastigheten på algoritmen ved å bruke et mest mulig effektivt nettverk Andre andvendelser: INCUS prosjektet har også gjør betydelig framskritt i å kjenne igjen strukturer/landemerker i ultralydbildene. Dette er viktig for å automatisere flere målinger.I tillegg har vi utviklet modeller for å gradere bildekvalitet og mitral-klaff lekkasje.

Outcomes: One outcome is that target users (cardiologists and sonographers) are able to perform analysis of cardiac wall motion and other measurements more efficiently and reproducible. For GEVU the project has lead to higher competency in AI technology. For NR the project has lead to a better understanding of the use of deep neural networks in medical applications. For SINTEF the project has lead to higher competency in efficient usage of GPUs for deploying neural networks.For UiO the project has lead to a better understanding of applying AI algorithms in ultrasound imaging . Impacts: For target users the long term impact will be higher efficiency and better reproducibility when examining heart disease. This will again will lead to improved outcomes for patients as well as lower cost for hospitals. For both GEVU, UiO, NR and SINTEF the project has had a positive impact on the ability to engage in future research projects both internationally and nationally.

Cardiac related disease is the number one cause of death in the Western world, including Norway. Echocardiography is the most important imaging tool for the cardiologist to assess cardiac function. An echo examination of the heart is real time, cost effective and can be performed without discomfort to the patient and without harmful radiation. These are great advantages compared to other medical imaging modalities. The key performance indicators for an echo lab are diagnostic accuracy and productivity. For the patient a fast and accurate diagnosis is important for receiving the right treatment. For the hospital the productivity of the echolab has direct economic implications, and early accurate diagnosis alleviates the need for involving more expensive imaging modalities. A typical cardiac ultrasound examination takes 30-40 minutes; while only about half of this time is spent efficiently acquiring diagnostic quality images. The wasted time is spent manually adjusting image acquisition parameters, searching for optimal views and performing manual measurements. The vision for this project is to create an INtelligent Cardiovascular Ultrasound Scanner - INCUS - that is capable of assisting the user to increased productivity and accelerated decision making. This will be achieved by introducing intelligent algorithms in the scanner that can exploit knowledge from expert users and previously acquired data and learn from this. We will build on recent research in machine learning that has led to a set of approaches referred to as Deep Learning. Deep Learning has boosted the performance substantially for many applications like speech recognition and image classification. The ambition is to offer a new ultrasound scanner providing increased diagnostic confidence as well as significantly enhanced productivity compared to ultrasound scanners that exist on the market today.