Hierarchical Reinforcement Learning Models with Applications in Radio Resource Management

Temaet i denne avhandlingen er ytelsen til datanettverk målt i forsinkelse og pakketap. Den maksimale kapasiteten til datanettverk, også kjent som båndbredde, har økt jevnlig i flere tiår. Etter hvert som mer kapasitet blir tilgjengelig dukker det opp nye applikasjoner som behøver mer båndbredde, og dette øker etterspørselen etter nettverksressurser. Ytelse målt i forsinkelse og pakketap har ikke sett den samme javne forbedringen. Mange applikasjoner formidler realtidsinteraksjoner, og disse er avhengige av lav forsinkelse og lite pakketap for å fungere optimalt. Optimalisering av forsinkelse i datanettverk er en kompleks oppgave. Fysisk overføringstid, transmisjonsrekkefølge, køing og interaksjoner mellom ulike trafikkilder kan alle bidra til den forsinkelsen vi observerer. Å redusere forsinkelse i Internet er en utfordring som har fått økende oppmerksomhet de siste årene. Denne oppmerksomheten har ført til løsninger på flere problemer. Andre problemer er fortsatt uløste. Denne avhandlingen sikter på å utvide vår forståelse for WiFi-nettverk fra et perspektiv hvor vi legger vekt på forsinkelse og pakketap. Vi tilnærmer oss dette gjennom metrikken kvalitetsattenuasjon. Kvalitetsattenuasjon er en måte å kombinere forsinkelse og pakketap i én variabel. En kvalitetsattenuasjonsverdi består av en sannsynlighetsfordeling som beskriver mulige forsinkelser kombinert med sannsynligheten for pakketap. Avhandlingen begynner med å utforske hvilke ytelsesproblemer som er mest vanlig i dagens WiFi-nettverk. Vi viser at både køing og forsinkelser forbundet med hvordan WiFi-protokollen er designet bidrar mye til den observerte forsinkelsen. Ved å konstruere en modell av WiFi-protokollen kvantifiserer vi protokollens ytelse målt i kvalitetsattenuasjon. Denne analysen viser at protokollens design forårsaker store svingninger i nettverksytelse. Etter å ha kvantifisert hvor variable WiFi-koblinger er utforsker vi hvilke konsekvenser denne variabiliteten har for ende-til-ende metningskontroll i WiFi-nettverk. På grunn av variabiliteten i WiFi-nettverk så vil det å oppnå stabil lav forsinkelse over WiFi-nettverk kreve innovasjon på mange nettverksteknologinivåer. Helt konkret så beviser vi at kapasitetssøkende metningskontroll ikke kan oppnå både høy ressursutnyttelse og lav kvalitetsattenuasjon i et typisk WiFi-nettverk med mindre WiFi-nettverk blir mye mer forutsigbare enn de er i dag. Vi håper at metodene og resultatene presentert i denne avhandlingen vil fremskynde ankomsten av et pålitelig Internett med lav forsinkelse.

Prosjektet har resultert i ny kunnskap om hvordan WiFi-nettverk og metningskontrollalgoritmer fungerer hver for seg, og i tillegg hvordan de interagerer med hverandre. Dette vil, når kunnskapen integreres i ny teknologi, føre til bedre trådløse nettverk i fremtiden gjennom bedre design av algoritmer for tilpasning av WiFi-nettverk til endringer i radioforhold og fysisk konfigurasjon, og bedre design av metningskontrollalgoritmer. Forbedringene vil komme i form av mer robuste løsninger som for eksempel er i stand til å levere lav forsinkelse på en mer robust måte enn det som er mulig med dagens teknologi.

Hensikten med prosjektet er å utvikle nye maskinlæringsmetoder for å løse problemer innen feltet styring og kontroll av hjemmenettverk. Hovedproblemet i hjemmenettverk er å kontrollere og fordele de begrensede ressursene i det ulisensierte radiospekteret. Mangelen på styring av radioressursene forårsaker uforutsigbar tjenestekvalitet for sluttbrukerne, noe som resulterer i dårlige brukeropplevelser. Eksisterende metoder er ikke i stand til å levere god styring av radioressursene på grunn av mengden og variasjonen i tilkoblede enheter og bruksmønstre. Det er ikke lenger mulig å stille inn rutere på en slik måte at alle brukere får en god brukeropplevelse uten å ha kontinuerlig måling og kontroll av ressursbruken. Det har dukket opp mange metoder innen feltet maskinlæring i senere år som virker lovende for å løse disse utfordringene, men mer forskning kreves. Det har blitt gjort en god del forskning på bruk av maskinlæringsmetoder for nettverksoptimalisering, med oppmuntrende resultater. Mye av den eksisterende forskningen baserer seg på simulerte nettverk. I dette prosjektet vil forskningsspørsmålene i hovedsak besvares gjennom empiriske studier utført i faktiske hjemmenettverk. Domos har tilgang til et stort antall hjemmerutere. Innsamlet data fra disse ruterne, samt muligheten til å kontrollere innstillingene på ruterne, danner grunnlag for å kjøre eksperimenter og empirisk evaluere både prediksjonsmodeller og kontrollmetoder i stor skala. Dette muliggjør bedre vurdering av hvilke av de eksisterende metodene som fungerer best i praksis, og danner grunnlag for forskning på hvordan eksisterende metoder kan videreutvikles og forbedres. Radionettverk har en spesiell hierarkisk struktur, og dette skaper utfordringer som gjør at man ikke bare kan plugge inn eksisterende maskinlæringsmetoder. Ny forskning må til for å tilpasse eksisterende maskinlæringsmetoder til de aktuelle problemene, og her vil det skapes både ny kunnskap og nye ferdigheter.