Reduced subspace in big data treatment: A new paradigm for efficient geophysical Data Assimilation

Uttrykket Big Data refererer til syntesen og analysen av store mengder data. Evnen til å forutsi framtidig utviklinger basert på enorme mengder data er blitt viktig innen mange felt, inkludert miljø, medisin og sikkerhet. Klimavitenskap er et annet stort Big Data nedslagsfelt: hver dag samles det inn hundrevis av millioner datapunkter av jordens klimasystem, enten fra satellitter eller in situ; disse blir brukt til å kalibrere komplekse numeriske modeller, som så simulerer framtidig klima. Kalibrasjonsprossessen kalles data assimilasjon, og er en storbruker av supercomputere. Denne prosessen må gjøres på best mulig måte, og må bevare evnen til å beskrive og forutsi realistisk klima fenomener, men den må også svært raskt. Trenden med økende regnekraft er ikke alene tilstrekkelig for alle anvendelser, siden kompleksitet vokser i samsvar med både datavolum og modellenes resolusjon. Nyvinnende Big Data teknikker er derfor nødvendig. REDDA vil bidra til denne utviklingen. Dens viktigste ide stammer fra begreper i kaos-teori, inkludert tilbakevendende atferd i naturlige systemer, og eksistensen av delsett (undergrupper) av observasjoner med størst informasjonsinnhold. Er det mulig, ved kun å benytte et redusert, optimalt utvalgt, delsett av data, til tross for problemets størrelse, å oppnå en tilfredsstillende beskrivelse av klimasystemet til en lavere kostnad? REDDA vil besvare dette spørsmålet ved hjelp av en tverrfaglig tilnærming på tvers av matematikk og geofag. Den teoretisk forskningslinje viet til utvikling av nye assimilasjonsmetoder vil også bli drevet parallelt med en praktisk anvendelse som gjelder prognoser av hav-is. En tredje forskningslinje undersøkte mulige synergier mellom dataassimilaring og maskinelærningsmetoder. Hav-is studien angår kalibrasjonen av den nyeste generasjonen av hav-is-modeller, hvilket beskriver hav-is med en utstrakt realisme.

REDDA has improved the understanding of ensemble-based data assimilation methods, based on an analysis of the effects of dimensional reduction, numerical simulations and bias in the uncertainty quantification of the forecast. This will allow users of data assimilation to make better choices of the ensemble size. REDDA has as well introduced a new method for assimilating observations in a model using Lagrangian coordinates and implemented an Ensemble Kalman Filter in the neXt generation Sea Ice Model (neXtSIM), which can be further used both for climate reconstructions and for operational forecasts at NERSC. Finally, REDDA has introduced a synergetic method using both data assimilation and machine learning to reconstruct a data-driven model and perform skillful predictions with it.

The analysis and synthesis of high-volume data is, at this present time, paramount in many real problems. The issue of estimating the state of a system based on a large, but limited, set of information is ubiquitous in science, and the methods designed for this scope in the geosciences is referred to as data assimilation (DA). Geophysical DA is an exemplar of a Big Data problem: models have O(109) variables and the observational datasets are as large as O(108). Computationally efficient state estimation and uncertainty quantification must be carried out using massive datasets and huge dynamical models. Increasing computational power alone will not suffice to solve the issue since the problem?s complexity will grow commensurately with both the data volume and model size, making timely and continual development of advanced DA procedures necessary. REDDA will study novel Big Data methods capable of efficiently treating a huge amount of data while extracting as much information as possible. REDDA is an interdisciplinary project between geoscientists and mathematicians with two research lines having their origin in climate science, but that will be investigated with a mathematical perspective: (1) Reduced order fully Bayesian DA methods for nonlinear systems, (2) DA methods for Lagrangian sea-ice models. The fundamental driving idea is the existence of a subspace of the system dynamics, and a subset of the observations, in which is embedded the largest informational content for the signal to be retrieved. Despite the intractable large size of the full problem, by monitoring and exploiting this subspace one can hope to achieve a satisfactory track of the unknown signal while reducing the computational load. In the context of sea-ice modeling, there is an urgent need for blending all available data with state-of-the-art Lagrangian models. REDDA will study novel methods of fully Lagrangian DA, and apply them to the new Lagrangian sea-ice model developed at NERSC.