Tidal News: a Middleware Platform for Adaptive and Dependable Data Dissemination in the Internet of Systems

Tidal News prosjektet har oppnådd resultater som har hatt innvirkning på velkjente Internett tjenester som Spotify, og Internet og TV leverandør Altibox. Spotify er viden kjent for sin musikkstrømmetjeneste til titalls millioner av kunder i Europa og Nord-Amerika. Utover å tilby øyeblikkelig adgang til over 20 millioner musikkspor, forsterker også Spotify musikkopplevelsen til sine brukere ved å tilby flere funksjoner for sosial interaksjon. Tidal News prosjektet har utført en dybdestudie av arkitekturen til systemet som realiserer disse funksjonene. Systemet er konstruert for å levere meldinger som representerer sosial interaksjon både i sanntid (online) og forsinket (offline) til sine brukere. Studien analyserer dessuten reelle data fra produksjonssystemet til Spotify for å avdekke ytelesleskarakteristika og trender. f.eks. konsum av båndbredde og lastbalansering. Studien har gitt Spotify en bedre forståelse av deres produksjonssystem. Denne kunnskapen vil Spotify utnytte til frem tidige forbedringer av det. En postdoc som tidligere var ansatt i Tidal News prosjektet er nå ansatt som systemarkitekt i Spotify. Tidal News prosjektet har bidratt til forskning som gjør det mulig for Altibox å beregne effekten av individuelle TV rekl amer i sanntid. Dette kan utnyttes som en verdiøkende tjeneste for Altibox. Systemet baserer seg på en kombinasjon av analyse av data fra TV-boksene i de tusen hjem og reklamedeteksjon i videostrømmene. Datamengden som prosesseres involverer store volum f ra flere kilder, og det foretas en inkrementell oppdatering av resultatene som kan publiseres som en livestrøm. Tidal News prosjektet har også utviklet en generisk plattform kalt Goxos, som kan benyttes til å utvikle tjenester med høye krav til oppetid og robusthet mot feil. I denne plattformen har vi utviklet en ny og effektiv mekanisme, kalt live replacement, for å erstatte feilede komponenter mens tjenesten uavbrutt fortsetter å besvare klientforespørsler. Tidal News prosjektet har utviklet teori en som er nødvendig for å bygge en plattform for Byzantinsk feiltolerans i storskala publish/subscribe systemer. Vi arbeider med å implementere dette i Goxos plattformen.

It is envisioned that the Internet will evolve in a system conglomeration of enormous scale. Smart energy-savvy inhabitant-friendly homes will become inter-connected in a single network. In particular, this network will provide feedback to the energy grid and allow effective distributed management of electrical appliances. Medical centers will monitor patients in need at their homes and send information to hospitals, personal doctors, and other medical centers upon demand. Thousands of business and produc tion processes at different factories will be remotely monitored and coordinated so as to form optimized production chains. Even nowadays, electronic travel agents (such as Expedia.com) build itineraries that combine flight reservations with hotel booking , car rentals, and sea cruises. Such a travel service is essentially composed of dozens of individual services working underneath, transparently for the customer. It is anticipated that electronic services of tomorrow will be composed of hundreds and even thousands of inter-connected distributed components. All of the above subsystems of the Future Internet will need to exchange information with each other. How will we manage efficient data communication on such a gigantic scale? How will we prevent a sl ower or less reliable individual component from stalling or failing the entire system? If the amount of available resources (such as bandwidth) falls below optimum, how will we ensure that the performance degrades gracefully and the composite service does not cease functioning? What is the best way to capture and express those features of data communication that enhance user-perceived experience? In the context of the Tidal News project, we tackle these and many other problems that arise due to inter-con nection of systems, in pursuit of supporting the vision of the Future Internet.