Efficient Execution of Large Workloads on Elastic Heterogeneous Resources

Menden data som prosesseres økes stadig. For eksempel innen medisin, meterologi, fysikk, biologi, finans og miljø er det enorme krav til dataprosessering og effektiv flytting av data mellom maskiner hvor både avhengigheter mellom prosesseringer og tidskra v må taes hensyn til. I store installasjoner av maskiner er det derfor viktig å effektivt fordele tilgjengelige ressurser på samtidige jobber over et heterogent set av hardware i en kompleks topologi. I denne forbindelse vil man i EONS prosjektet forske på fremtidige distribuerte stor-skala heterogene systemer. Spesielt ser vi på systemer i medisin hvor vi har som mål å utvikle et ende-til-ende system for oppdagelse av sykdommer gjennom sanntids-analyse av video. Med andre ord, i prosjektet har man som både som mål å utvikle mekanismer for effektiv utvikling og utføring av neste generasjons "BigData"-applikasjoner og å utvikle et medisinsk system for automatisk deteksjon av sykdommer i fordøyelsessystemet.

In the current and future industry and society, there will be an increasing number of systems storing and processing of large amounts of data. This is the next frontier for innovation, com- petition and productivity where there are currently large initiat ives both in the EU and the US. Example data sets stem from areas like medicine, meteorology, genomics, connectomics, physics, biology, environmental research, Internet search, finance and governmental informatics. Here, there are massive computational de mands, but also huge demands for I/O and communication and for timeliness and deadlines. Additionally, there are often dependencies between processing steps. In a large computing cluster like a grid or a cloud, an important challenge is thus to execute th e many concurrent computations in an efficient and dynamic manner where available resources, processing, communication, dependencies and timeliness must be taken into account when mapping tasks to processing cores. As such, the aim of the EONS research p roject is to perform basic research in the area of development of parallel programming and parallel processing in the context of future distributed large-scale heterogeneous systems. We aim to research and develop concepts and mechanisms that will enable the development of software for these next-generation big data applications. This is achieved by solving fundamental challenges for the dispatching, division, scheduling and identification of tasks that can run correctly in parallel in a shared distribute d system of heterogeneous computing resources in complex topologies.