Multi-Modal Structure-Informed Machine Learning

Dette prosjektet støtter et doktorgradsprosjekt knyttet til prosjektet PhysML: Structure-based machine learning for physical systems. En av de største hindringene for å anvende maskinlæring på fysiske systemer er mangelen på robusthet og pålitelighet i eksisterende metoder. PhysML vil bidra til å løse denne utfordringen ved å kombinere maskinlæringsmodeller med de geometriske egenskapene til matematiske modeller i et hybrid-analyse-rammeverk som demmer opp for svakhetene ved begge individuelle tilnærminger ved å utnytte deres komplementære styrker. Målet med denne utvidelsen er å koble forskningen som er gjort og metodene som er utviklet i PhysML til anvendelser som er av interesse for det norske forsvarssektoren. Dette vil bli gjort ved å anvende metoder utviklet i PhysML på relevante brukstilfeller, men også ved å utvikle nye metoder som møter behovene til disse brukstilfellene. Vi sikter mot å bygge på pågående forskning i hybrid maskinlæring ved å inkorporere måleprosessen via forskjellige sensorer som hver kun gir delvis informasjon om systemet og vanligvis betraktes som én enhet. Vi ønsker å studere samspillet mellom sensorer og systemmodellering i læringsprosessen, ved å bygge modulære modeller for sensor- og systemmodellering sammen, som tillater bruk av samme modell selv om tilgjengelige sensorer endres, og dermed oppnå "multimodal strukturinformert maskinlæring" (MMSIML). Dette vil legge til rette for overføringslæring mellom forskjellige sensorer. For eksempel kan en modell trenes med høykvalitetssensorer og deretter brukes med et annet sett med sensorer. MMSIML ville også være stabilt mot manglende sensormodaliteter, noe som kan skje hvis sensorer svikter under produksjon, så lenge den totale informasjonen fremdeles er tilstrekkelig.

The PhysML project will contribute to solving this challenge by combining machine learning models with structure-based mathematical models. This leads to hybrid models that have the flexibility and ability to learn from data that comes with doing machine learning, while also having guarantees of stability and a behavior of the solution that is consistent with the underlying physics. PhysML will work towards two goals: i) Use machine learning to gain physical knowledge about the systems, and ii) use physical knowledge to obtain machine learning models that are open, trustable, robust, and flexible. A fundamental innovation in our approach is to utilize the assumed underlying structures of the system, such as symmetry or preservation of energy, and thus build on the established field called geometric numerical integration, which is the study of how to incorporate such structures in mathematical models. We are seeking funding for a PhD project within physics-informed ML, with applications to sensor data. We aim to extend ongoing research in hybrid machine learning by incorporating the measurement process via different sensors that each only provide partial information about the system and are typically considered as an entity. We wish to study the interplay between sensors and system modelling in the learning process, building modular models for sensor and system modelling together, allowing to use the same model under a change of available sensors, thus achieving Multi-Modal Structure-Informed Machine Learning (MMSIML). This would facilitate transfer learning between different sensors. E.g., a model can be trained with high-quality sensors and then applied with a different set of sensors. MMSIML would also be stable against missing sensor modalities (in contrast to classical missing data problems), which could occur if sensors fail during production, as long as the total information is still sufficient.