Efficient and Robust Architecture for the Big Data Cloud - ERAC

Hovedaktiviteten i startsfasen av prosjektet ERAC var sentrert rundt det å bygge en privat nettsky bestående av følgende hovedkomponenter: Linux, OpenStack, KVM, OFED og InfiniBand. Til sammen utgjør komponentene et fleksibelt åpen kildekode-basert fundament for en høy-ytelses nettsky, velegnet til å bygge prototyper av metodene som forskes frem i prosjektet. I prosjektet står tre forskningsaktiviteter i fokus. Den første aktiviteten er sentrert rundt metoder for skalerbarhet ved migrering av virtuelle maskiner (VMer) i høyhastighetsnettverk av typen InfiniBand (IB). I IB-nettverk håndterer en egen administrasjonsprogramvare, en subnet manager (SM), oppsett og vedlikehold av nettverket for å sikre en stabil og effektiv kommunikasjonsinfrastruktur med høy ytelse. I større installasjoner vil imidlertid en slik sentral SM kunne utgjøre en flaskehals. Dette gjelder spesielt for store dynamiske nettskyer, hvor en SM potensielt må kunne svare på henvendelser fra tusenvis av VMer. Om SMen ikke er i stand til å håndtere disse henvendelsene til rett tid, vil ytelsen til skyen gå ned. For å minske SMens arbeidsmengde, og dermed gjøre en assosiert sky-arkitektur mer skalerbar, har vi forsket frem en ny, generell mellomlagringsløsning (caching scheme), implementert som en prototype i vår private nettsky. For økt fleksibilitet og tilrettelegging av transparent virtualisering og migrering i IB-baserte nettskyer, har vi i tillegg foreslått nye vSwitch-sentrerte arkitekturer for IB-nettverkskort - med tilhørende skalerbare, dynamiske metoder for rekonfigurering. Den andre forskningsaktiviteten søker å optimalisere rutingen (veivalg) internt i det høyhastighetsnettverket som kobler sammen de fysiske maskiner en nettsky er bygget opp av. Ved å optimalisere rutingen kan man sørge for en bedre utnyttelse av nettverksressurser, samt øke den totale ytelsen til nettskyen og dens skytjenester. Vanlige ruting-algoritmer for høyhastighetsnettverk, som f.eks. IB, har frem til nå ikke tatt høyde for de ulike roller noder i et nettverk kan ha, og ei heller håndtert trafikkisolasjon internt i nettverket på en god måte. Resultatet i et skynettverk med mange brukere kan være dårlig reell lastbalansering og ressursutnyttelse i nettverket, samt ytelsesforstyrrelser på tvers av trafikk tilhørende ulike leietagere. For å takle disse to utfordringene knyttet til dårlig reell lastbalansering og mangelfull trafikkisolasjon, har vi designet og implementert to nye ruting-algoritmer, wFatTree og pFTree. Våre eksperimenter viser at wFatTree kan føre til 60% forbedring i ytelse, mens pFTree implementerer effektiv trafikkisolasjon uten nevneverdig økt kompleksitet ved ruting. I tillegg har en tredje ruting-algoritme, SlimUpdate, blitt utviklet sammen med nye metoder for skalerbar ruting-rekonfigurasjon forårsaket av f.eks. komponentfeil internt i nettverket eller tilføyning/fjerning av (virtuelle) maskiner. Den tredje aktiviteten omfatter identifisering og definering av risiko og krav relatert til sikkerhet og tillit ved bruk av skytjenester og håndtering av (private) data. Ansvarliggjørelse er en predefinert prosess med det formål å demonstrere praksis og aktiviteter knyttet til skytjenester og deres implisitte sikkerhet - og det ansvar som ligger hos de ulike aktører i et komplekst sky-økosystem. Derfor må ansvarliggjørelse ivaretas gjennom et verifikasjons-rammeverk som sikrer demonstrasjon av databevegelse, støtter håndhevelse av sikkerhets- og personvernpolitikk, og danner grunnlag for verifisering av integritet og autentisitet. I ERAC benytter vi data-analytiske tilnærminger forankret i ansvarliggjørelse. Vi bygger en data-analytisk motor som kan analysere data-tidsserier lagret av OpenTSDB (basert på f.eks. logginformasjon fra NetFlow-data). Ved hjelp av dataanalyse av logger fra ulike datasentre kan brukeren benytte visuelle verktøy for å spore alle bevegelser til egne data, og få en visuell bekreftelse på hvor data befinner seg og hvordan data blir forflyttet internt i, og i mellom, skyer. Denne type analyse gir åpenhet og sørger for økt tillitt til nettskyen som lagringstjeneste. Videre har vi spådd ulike typer feil i datasentre med 91% nøyaktighet, levert effektiv dataanalyse og lagring, økt sikkerhet og levering av data, og oppdaget flere typer irregulær aktivitet i sky-infrastrukturen. Vi foreslår en tilnærming basert på Markov random field (MRF) for å bygge en klassifiserer for maskingenererte logger, produsert i store mengder og med høy hastighet. Kategorier blir definert av enheter (utvalgte linjer) av interesse, uten spesifikke mønster- eller innholdskrav. MRF-metoden danner grunnlaget for en modell bygget på treningssettet, som klassifiserer liknende og relaterte linjer i en a posteriori logg-analyse. Den statistiske modellen lar seg forlenge til en ikke-veiledet læring som kan optimere treningssettet ved å fjerne flertydige (lavklassifiserte) enheter, og ved å utvide settet med nyere høyklassifiserte linjer.

ERAC leverages on the documented excellence of the research group on interconnection networks and cluster computing at Simula. In close collaboration, Oracle, Lyse, Simula, the University of Oslo, and the University of Stavanger will build world-class re search-based competence in core areas of cloud computing that will form the backbone for services and applications in the future Internet. The selected core areas are carefully aligned with the needs and the strategy of the contributing industrial partner s and the following scientific priority areas in VERDIKT: (i) communication technology and infrastructure, (ii) security, privacy, protection and vulnerability. The consortium will focus on selected problem areas where current technology is not well suit ed to meet the promise of cloud computing: rapid elasticity, massive scale, resilient computing, virtualization, ease-of-use and energy efficiency. These are areas of vital importance for realizing the potential of cloud computing where there are signific ant architectural and technological challenges that must be resolved. The project will strengthen the national knowledge base in several ways. First, it will create a community of cutting-edge expertise on cloud computing with members from both academia and industry. Second, it will develop several cloud computing experts through the education of doctoral candidates and through the expansion of knowledge for established researchers. Third, it will contribute with one or more educational courses to the so on to be established educational program on cloud computing at Ifi/UiO. In the long term this promotes Norwegian leadership in the selected areas of the segment.