Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

High Throughput Environmental Assessment Pipeline

Alternativ tittel: High Throughput Environmental Assessment Pipeline

Tildelt: kr 9,5 mill.

HiTEA (High Throughput Environmental Assessment Pipeline) er et HPC (High Performance Computing) fokusert programvareprosjekt som kombinerer nye digitale containerteknologier, i memory column storage (Apache Arrow) og interaktive (Jupyter) notebooks for å bygge et standardverktøy for kvantitativ bærekraftforskning med høy data gjennomstrømning. Med HiTEA tar vi sikte på å sette forskere i stand til å rutinemessig gjennomføre sofistikerte (HPC-avhengige) løsningsromestimater i stedet for enkeltpunktsestimater av resultater og politiske alternativer i relevante analyser for bærekraftige utviklingsmål (SDG). HiTEA består av en data-pipeline som kan akseptere data fra ulike kvantitative bærekraftsregnskapsrammer. Flere allerede eksisterende parsere vil bli samlet i HiTEA. Etter dataene har passert det distribuerte/skybaserte beregnings systemet, blir data samlet i en modul som gjør det mulig å eksportere resultatene i forskjellige format. HiTEA er planlagt å kjøre på forskjellige e-infrastruktursystemer som spenner fra lokale flerkjernetjenere, til HPC-infrastruktur ved NTNU (OpenStack), Sigma2 (Nird Toolbox) og til kommersielle Kubernetes-baserte skytjenester som Amazon AWS og MS Azure. Etter å ha nådd et modent programvareprodukt, tar vi sikte på å inkludere HiTEA i servicekatalogen til EOSCHub. Det første året har fokuset vært å finne IT-stack som skal brukes i prosjektet og utvikle en første prototype av data-pipelinen. Som en del av dette arbeidet utviklet og publiserte vi en open-source programvaremodul for Environmentally Extended Multi-Regional Input Output Analysis, Pymrio. Programvaren er tilgjengelig på Github og artikkelen ble publisert i Journal of Open Research Software. Det neste året vil denne programvaren bli utvidet til å kjøre på de forskjellige sky- og HPC-infrastrukturene som beskrevet ovenfor. Videreutvikling av programvaren vil bli drevet av casestudier, og gi de nødvendige tilbakemeldingene som trengs for å sikre at programvaren oppfyller vesentlige vitenskapelige brukerkrav. For å gjøre dette, følger prosjektet industristandard Agile Software Development -praksis som brukes i industriell programvareutvikling. Disse casestudiene vil bli utført av doktorgradsstudenten finansiert gjennom HiTEA -prosjektet. For å velge studenten la vi ut stillingsannonser i februar 2021 på jobbnorge, forskjellige sosiale nettverk (Twitter, LinkedIn) og på spesifikke stillingspaneler relatert til PhD-emnet (forum for International Society for Industrial Ecology, is4ie.org og on Woman i HPC -organisasjonen, womaninhpc.org). I august 2021, ble Mohamed Badr ansatt.(https://www.ntnu.edu/employees/mhelsaye) Han er en høyt kvalifisert forsker som har erfaring både innen globaliseringsforskning og programmering. I løpet av de neste månedene vil vi fokusere på å kjøre den første usikkerhetsanalysen for casestudiene med den utviklede prototypen. Ytterligere informasjon om prosjektet, inkludert lenker til kodelageret og publikasjoner, finner du på https://hitea.iedl.no/.

HiTEA combines emerging digital container technologies, in memory column storage and interactive notebooks to build THE standard tool for quantitative sustainability research for conducting high throughput environmental assessments. This directly addresses the current lack of a readily available tool for researchers to explore solution spaces of environmental life-cycle assessments. HiTEA will make it simple, fast and cost-effective for researchers to perform thousands of model runs when they would previously only undertake one. As such, HiTEA will operationalize sophisticated sensitivity and uncertainty analysis as a standard implementation for sustainability research, pushing the field well beyond its current state. Case studies directly connected to SDGs will be conducted during the project to proof the usability of the HiTEA. These run in parallel to the software development, providing the feedback needed to ensure software which thoroughly meets scientific user requirements. To do so, the project adopts industry standard Agile Software Development practices for the use in Scientific Software Development. HiTEA embraces Open Source development. Besides maximizing outreach and exploitation, this will provide feedback on the usability and required capabilities already during the development phase. In addition, it actively encourages code contributions and usage from outside the project team to deliver a tool fully owned by the sustainability science community. The abstraction layers of the software architecture allow HiTEA to run on various e-infrastructure systems. During the project, HiTEA will be tested on local multi-core servers, HPC infrastructure at NTNU (OpenStack) and Sigma2 (Nird Toolbox) and commercial Kubernetes based cloud services like Amazon AWS and MS Azure. Reaching a mature software product and using the modern Infrastructure as a Service (IaaS) paradigm will finally lead to the inclusion of HiTEA in the service catalogue of the EOSCHub.

Publikasjoner hentet fra Cristin

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Budsjettformål:

IKTPLUSS-IKT og digital innovasjon