SciML - Scientific Computing & Machine Learning

Selvlærende kunstig intelligens i form av nevrale nettverk har i de senere årene demonstrert ekstrem slagkraft innen en rekke områder som gjenkjenning av lyd og bilde, og overmenneskelig evner i spill som for eksempel sjakk. Allikevel, selv med grundig opplæring og generell ytelse som ofte overgår oss mennesker, så gjør disse nettverkene pussige feil som kan virke uforståelige og som mennesker ikke ville gjort. Dette gjør at man kan og bør stille spørsmål ved bruk av disse algoritmene i en rekke anvendelser av type selvkjørende kjøretøy, eller innen medisin eller til militær bruk, der potensielle feil får svært alvorlige konsekvenser. På denne andre siden har man i vitenskapelige beregninger, spesielt i modelleringsbaserte vitenskaper som fysikk, mekanikk, kjemi osv., laget et generelt og robust matematisk rammeverk som sikrer de ønskede handlingsmønstre. Spesielt matematikken utviklet rundt partielle differensiallikninger garanterer i mange tilfeller sikkerhet med bemerkeselsverdig presisjon. I dette prosjektet vil vi utforske måter å slå sammen tradisjonell modellering med nevrale nettverk for å forbedre ytelse og sikkerhet i dagens læringsalgoritmer, samt måter å øke fleksibiliteten til dagens algoritmer i vitenskapelig beregninger. Hovedfokus så langt her vært å identifisere ustabiliteter i koblingen mellom nevrale nett og elementmetode. Vi har kombinert FEM og NN på diverse metoder og avdekket ustabiliteter og utfordringer i kompliserte settinger. Dog virker rammeverket relativt robust når det kommer til anvendelser. Fysikk-baserte læringsnettverk er lovende for applications within neuroscience. Vi har i den senere tiden også lykkes med teoretiske betraktninger rundt rammeverket for nevrale nett som vi nå håper og publisere. Vi har lykkes med omfattende modellering og læring mot det såkalte glymfatiske system, som beskrive hvordan hjernen renses når vi sover og har iblant fått oppmerksomhet også av massemedia.

The project has enabled research on modeling and learning based method for applications that has led to a substantial number of scientific papers in top journals, along with one book and associated software tools. Furthermore, the project has enabled us to derive methods and corresponding analysis for physics informed networks, sharper than ever before, along with tools for practical machine learning within image based neuroscience. Some of the results have even been picked up by public media in Norway, such as VG and NRK.

Partial differential equations (PDEs) have been studied for centuries and have seen an impressive utilization in scientific computing (SC) during the last sixty years due to increasingly powerful computers. Alongside with the utilization, a powerful theoretical foundation has been developed and this foundation ensures both efficient computations and accurate results. In the last ten years, an explosion of usage of machine learning (ML) techniques in the form of deep neural networks (DNNs) have demonstrated a wide range of successes due to both high-performance computing and vast amounts of available data. Despite the similarities between the different areas, the synergies effects have so far been sparse, in particular on the theoretical level. This proposal aims to bridge the gap between these areas. The project addresses challenges on the long-term horizon in the IKTPluss program. There are three crucial developments in the theory of computational methods for PDEs that should be merged with DNN. The first is the development of more reliable and robust machine learning techniques by exploiting multigrid (MG) techniques developed for the solution of PDEs. The second is the integration of DNNs into a MG framework. And the third topic concerns the integration of DNNs and FEM to enable learning of computational models. These theoretical developments should be accompanied with software development and relevant applications. Here, applications in biology and medicine are of particular importance because the underlying principles are often not well understood. In particular, we will investigate a novel mechanism related to Alzheimer´s disease in which the PI is on the forefront of current research.