EuroHPC-prosjekt MICROCARD: Numerical modeling of cardiac electrophysiology at the cellular scale

Kardiovaskulær sykdom er den hyppigste årsaken til død i hele verden, og halvparten av slike kardiovaskulære dødsfall skyldes hjertearytmi som opptrer når de elektriske impulsene i hjertet ikke fungerer normalt og dermed ødelegger hjertets elektriske synkroniseringssystem. Matematiske modeller, samt simuleringer av disse modellene på datamaskin, er veldig viktige for å forstå det elektriske synkroniseringssystemet og hvorfor syke tilstand oppstår. De fleste av avanserte matematiske modeller som nå brukes i forskning er dessverre ikke i stand til å studere alle individuelle cellene i hjertet, på grunn av enorme mengder beregninger som trengs og mangel av passende programvarer. Disse fører til at forskerne må ty til en kraftig tilnærming og nøye med mye lavere oppløsninger i simuleringene. Resultatet kan f.eks. være at man ikke klarer å forklare sykdommens forløp i aldrende og strukturelt syke hjerter, hvor en redusert elektrisk kobling kan føre til store forskjeller mellom naboceller, som har en potensielt dødelig konsekvens. For å kunne modellere og dermed simulere de individuelle cellene i et helt hjerte, må vi takle et matematisk problem som er ca. 10000 ganger større og vanskeligere å løse enn dagens standard. Vi trenger derfor mye kraftigere superdatamaskiner samt nye oppfinnelser, i både numeriske metoder og programvare utvikling, som kan sikre en effektiv bruk av disse superdatamaskinene. Hovedmålet til prosjekt MICROCARD, som består av 11 europeiske partnere, er å utvikle programvare som kan brukes til å løse dette ekstremt utfordrende problemet på fremtidige exascale superdatamaskiner. Vi skal også lage nye numeriske algoritmer som er spesielt tilpasset det underliggende matematiske problemet, og som passer for fremtidens ultrakraftige datamaskiner. Den utviklede programvaren er tiltenkt til å løse realistiske problemer innen kardiologi. Suksess til prosjektet vil være basert på et velfungerende team av dataeksperter, matematikere og biomedisinske ingeniører, støttet av et samarbeid med kardiologer og fysiologer. I prosjektperioden har vi studert flere temaer som er viktige for hele problemstillingen. Vi har utviklet nye numeriske metoder og strategier som er passende for utvikling av simulatorer som potensielt kan simulere alle cellene i hjertet. Vi har også utviklet programvare som bygger opp og videreprosesserer beregningsgitterer i 3D som er grunnleggende for numeriske simuleringer. I tillegg har vi programmert flere simulatorer med ulike matematiske og numeriske egenskaper, og utført tester av både de numeriske metodene og programvaren. Videreføring av forskning- og utviklingsaktiviteter skal organiseres som et nytt centre-of-excellence med navnet MICROCARD-2.

Several software packages have been enhanced and extended due to MICROCARD research activities. These include openCARP (https://opencarp.org), mmg3d & ParMmg (http://www.mmgtools.org), and Ginkgo (https://github.com/ginkgo-project/ginkgo). The software packages can considerably simplify the adoption of HPC in developing biomedical simulators that have application paths in medicine. Moreover, an open repository containing the usecases of MICROCARD has been set up at https://sites.google.com/simula.no/microcard-use-cases/home. The examples there demonstrate how HPC can be used to improve research in biomedical applications. The main simulation software developed in the MICROCARD project is called µCARP. It is implemented as a branch of the open-source openCARP software (https://opencarp.org). The research activities of MICROCARD have also contributed to a new Jupyter front-end of openCARP, which can greatly simplify code access for both academic and commercial users. In connection with the code development in MICROCARD, a Ginkgo back-end is added to openCARP and µCARP. This allows linear system solvers (one of the most important parts in any cardiac electrophysiology simulator) to run efficiently on GPU, which is a more energy-efficient architecture than standard CPU. A proof-of-concept study has been carried out to port and optimise a cardiac electrophysiology simulator for the low-power intelligence processing units (IPUs) newly produced by the European vendor Graphcore. This demonstrates the possibility of adopting European low-power processor technology for simulations of cardiac electrophysiology. The composition of the MICROCARD participants covers an unusually wide spectrum, from experts in cardiology, applied mathematicians to researchers in the wide domain of HPC. Moreover, the participants are from both academia and industry. For Simula Research Laboratory, the Norwegian partner in MICROCARD, participation in the project has helped strengthening its research activities in computational electrocardiology, while also improving the annual summer school on computational physiology co-organized by Simula, University of Oslo and University of California, San Diego.

Cardiovascular diseases are the most frequent cause of death worldwide and half of these deaths are due to cardiac arrhythmia, a disorder of the heart's electrical synchronization system. Numerical models of this complex system are highly sophisticated and widely used, but to match observations in aging and diseased hearts they need to move from a continuum approach to a representation of individual cells and their interconnections. This implies a different, harder numerical problem and a 10,000-fold increase in problem size. Exascale computers will be needed to run such models. We propose to develop an exascale application platform for cardiac electrophysiology simulations that is usable for cell-by- cell simulations. The platform will be co-designed by HPC experts, numerical scientists, biomedical engineers, and biomedical scientists, from academia and industry. We will develop, in concert, numerical schemes suitable for exascale parallelism, problem-tailored linear-system solvers and preconditioners, and a compiler to translate high-level model descriptions into optimized, energy-efficient system code for heterogeneous computing systems. The code will be parallelized with a recently developed runtime system that is resilient to hardware failures and will use an energy-aware task placement strategy. The platform will be applied in real-life use cases with high impact in the biomedical domain and will showcase HPC in this area where it is painfully underused. It will be made accessible for a wide range of users both as code and through a web interface. We will further employ our HPC and biomedical expertise to accelerate the development of parallel segmentation and (re)meshing software, necessary to create the extremely large and complex meshes needed from available large volumes of microscopy data. The platform will be adaptable to similar biological systems such as nerves, and components of the platform will be reusable in a wide range of applications.