Back to search

NAERINGSPH-Nærings-phd

Hierarchical Reinforcement Learning Models with Applications in Radio Resource Management

Alternative title: Hierarkiske Forsterkende Læringsmodeller med Applikasjoner i Radioressursforvaltning

Awarded: NOK 1.9 mill.

Project Manager:

Project Number:

297244

Project Period:

2018 - 2022

Funding received from:

Organisation:

Location:

The topic of this thesis is the performance of computer networks as measured by latency and packet loss. The maximum capacity, also known as bandwidth, of computer networks has been steadily improving for decades. As more capacity becomes available, new and higher bandwidth applications emerge, further increasing demand for network resources. Performance in terms of latency and packet loss has not seen the same regular improvement. Many applications convey real-time interactions, and these depend on low latency and low packet loss for optimal performance. Optimizing network latency is a complex task. Physical transmission time, scheduling, queuing, and interactions between traffic sources can all contribute to the latency we observe. The challenge of reducing latency in the Internet has received increasing attention in recent years. This attention has led to successful solutions to several issues causing latency. Other problems remain open despite these efforts. This thesis aims to extend our understanding of WiFi networks through the lens of latency and packet loss performance. We approach this using the \textit{quality attenuation} metric. Quality attenuation is a way of combining latency and packet loss into single variable. A quality attenuation value consists of a \textit{latency distribution} combined with the \textit{probability of packet loss}. The thesis begins by investigating which performance issues are most prevalent in today's WiFi networks. We show that both queuing latency and the WiFi protocol specification itself are significant contributors. By building a model of the WiFi protocol behavior we quantify the performance of the protocol in terms of quality attenuation. We find that significant performance variability is an inherent consequence of the protocol design. Having quantified how variable WiFi links are, we explore the consequences of this intrinsic variability for the performance of end-to-end congestion control algorithms running over WiFi. Because of the intrinsic variability of WiFi, achieving stable, low-latency networking with WiFi will require innovation on many levels of the network stack. In particular, we prove that capacity-seeking traffic can not achieve both high utilization and low quality attenuation over a typical WiFi network unless WiFi networks become much more predictable than they are today. We hope that the methods and results presented in this thesis will hasten the arrival of the low-latency Internet.

Prosjektet har resultert i ny kunnskap om hvordan WiFi-nettverk og metningskontrollalgoritmer fungerer hver for seg, og i tillegg hvordan de interagerer med hverandre. Dette vil, når kunnskapen integreres i ny teknologi, føre til bedre trådløse nettverk i fremtiden gjennom bedre design av algoritmer for tilpasning av WiFi-nettverk til endringer i radioforhold og fysisk konfigurasjon, og bedre design av metningskontrollalgoritmer. Forbedringene vil komme i form av mer robuste løsninger som for eksempel er i stand til å levere lav forsinkelse på en mer robust måte enn det som er mulig med dagens teknologi.

Hensikten med prosjektet er å utvikle nye maskinlæringsmetoder for å løse problemer innen feltet styring og kontroll av hjemmenettverk. Hovedproblemet i hjemmenettverk er å kontrollere og fordele de begrensede ressursene i det ulisensierte radiospekteret. Mangelen på styring av radioressursene forårsaker uforutsigbar tjenestekvalitet for sluttbrukerne, noe som resulterer i dårlige brukeropplevelser. Eksisterende metoder er ikke i stand til å levere god styring av radioressursene på grunn av mengden og variasjonen i tilkoblede enheter og bruksmønstre. Det er ikke lenger mulig å stille inn rutere på en slik måte at alle brukere får en god brukeropplevelse uten å ha kontinuerlig måling og kontroll av ressursbruken. Det har dukket opp mange metoder innen feltet maskinlæring i senere år som virker lovende for å løse disse utfordringene, men mer forskning kreves. Det har blitt gjort en god del forskning på bruk av maskinlæringsmetoder for nettverksoptimalisering, med oppmuntrende resultater. Mye av den eksisterende forskningen baserer seg på simulerte nettverk. I dette prosjektet vil forskningsspørsmålene i hovedsak besvares gjennom empiriske studier utført i faktiske hjemmenettverk. Domos har tilgang til et stort antall hjemmerutere. Innsamlet data fra disse ruterne, samt muligheten til å kontrollere innstillingene på ruterne, danner grunnlag for å kjøre eksperimenter og empirisk evaluere både prediksjonsmodeller og kontrollmetoder i stor skala. Dette muliggjør bedre vurdering av hvilke av de eksisterende metodene som fungerer best i praksis, og danner grunnlag for forskning på hvordan eksisterende metoder kan videreutvikles og forbedres. Radionettverk har en spesiell hierarkisk struktur, og dette skaper utfordringer som gjør at man ikke bare kan plugge inn eksisterende maskinlæringsmetoder. Ny forskning må til for å tilpasse eksisterende maskinlæringsmetoder til de aktuelle problemene, og her vil det skapes både ny kunnskap og nye ferdigheter.

Publications from Cristin

No publications found

No publications found

No publications found

No publications found

Funding scheme:

NAERINGSPH-Nærings-phd