A Stochastic ContROL approach to machine Learning with applications to Environmental Risk models (SCROLLER)

Hovedideen i SCROLLER-prosjektet er å studere sammenhengene mellom stokastisk analyse, risikoteori og maskinlæring. Stokastisk analyse er den delen av matematikken som analyserer usikkerhet over tid. Spesielt er stokastisk optimal kontrollteori et verktøy for å ta optimale beslutninger over tid under usikkerhet. Grunnen til at vi jobber med modeller med usikkerhet (stokastiske modeller) istedenfor modeller uten usikkerhet (deterministiske modeller) er at de fleste problemer i virkeligheten påvirkes av usikre hendelser. Vær, politikk, klimaendringer og menneskelig oppførsel er alle kilder til usikkerhet. Det siste tiåret har det vært en enorm teknologisk utvikling og økning i beregningskraft. I tillegg medfører digitalisering at stordata er tilgjengelig i mange ulike sammenhenger. Maskinlæring er en samling matematiske metoder (algoritmer) og teknikker som gjør at datamaskiner kan bli bedre på å gjøre oppgaver basert på erfaring. Eksempler på maskinlæringsalgoritmer er nevrale nett og forsterkningslæring. Maskinlæringsalgoritmer kan føre til feil konklusjoner hvis vi ikke forstår den underliggende matematikken. Selv om de eksperimentelle resultatene i maskinlæring er gode, er det en manglende forståelse av hvorfor resultatene er gode. Spesielt er det lite tilgjengelig litteratur om koblingene mellom maskinlæring og stokastisk analyse. Disse koblingene vil vi utforske nærmere i SCROLLER-prosjektet. Når vi velger anvendelser for SCROLLER-prosjektet kommer vi til å fokusere på problemstillinger knyttet til miljø- og klimarisiko. For eksempel vil vi jobbe med stokastiske modeller for forfall og vedlikehold av systemer utsatt for vær og vind. Vi ønsker å bruke såkalte miljøkonturer til å vurdere sikkerheten for systemer som er utsatt for ekstreme miljøpåvirkninger. På grunn av klimaendringer er det mer ekstremvær, og generelt større usikkerhet med tanke på framtida. Vi håper at dette prosjektet kan bidra til risikovurderinger som tar hensyn til disse endringene. Så langt i SCROLLER prosjektet har vi jobbet med koblingen mellom miljøkonturer og optimal design. I den forbindelse har vi funnet en representasjon av designoptimeringsproblemet via miljøkonturer for to ulike risikomål (value-at-risk og conditional-value-at-risk). Videre har vi sett på optimal design av eksperimenter via den praktisk gjennomførbare løsningsmetoden sekvensiell Bayesisk optimering, og sammenlignet dette med den teoretisk optimale løsningen via stokastisk optimal kontrollteori. Vi er også i gang med studiet av selv-eksiterende hoppeprosesser prosesser og løsning av stokastiske kontrollproblemer for hoppeprosesser med default. Videre har vi sett på en praktisk anvendelse av et stokastisk kontrollproblem: Hvordan kontrollere spredningen av HIV/AIDS på en optimal måte ved hjelp av en vaksine kalt PReP. Vi har også studert reinforcement learning og dynamisk programmering i tilknytning til såkalte probabilistiske digitale tvillinger. Dette er digitale kopier av fysiske systemer som brukes for risikoevaluering. I forbindelse med disse arbeidene har vi fullført flere artikler som er innsendt til fagfellevurderte tidsskrifter.

The SCROLLER-project studies the connections between stochastic analysis, risk theory and machine learning. Our results will be applied to risk management and reliability analysis with a focus on environmental variables as risk factors and models related to climate. The project consists of 4 scientific work packages: WP1 - Reinforcement learning and stochastic optimal control: We investigate whether it is possible to use the ideas and theoretical results from the stochastic maximum principle in connection with reinforcement learning. Can we draw inspiration from the martingale methods and the maximum principle theory of stochastic optimal control to relax the Markovian assumption of reinforcement learning? We will compare ML methods for stochastic optimal control problems (e.g., reinforcement learning and deep neural networks) to classical dynamic programming techniques. WP2 - Constrained risk management and connections to machine learning: We study an optimal consumption problem with a weighted value at risk constraint (WVaR) as well as other kinds of trading constraints (for instance no shortselling). We would also like to include the WVaR concept when doing risk analysis of stochastic networks. WP3 - Stochastic process modeling of degradation caused by environmental risk factors: We use self-exciting processes with positive jumps to model degradation caused by sporadic shocks with clustering behaviour. We will study the limiting process when the jump intensity increases at the same time as jump size decreases and compare this to the gamma process and the inverse Gaussian process. We also study optimal maintenance. WP4 - Augmented environmental contours: We extend environmental contours with the hope of contributing to better safety assessments of structures exposed to environmental risk factors. In particular, we study design optimisation with buffering and see how WVaR can be included in the environmental contour framework. We also include time in the model.