Distributed Learning and Cooperative Optimization for Multi-agent Autonomous Wireless Access Points

DISCO vil utvikle en ny generasjon av desentraliserte maskinlæringsmetoder (ML) for distribuert læring og samarbeidende optimalisering på tvers av store, autonome Wi-Fi-tilgangspunkter (AP-er), som behandles som intelligente agenter. I dag håndterer Wi-Fi-nettverk mesteparten av verdens internett-trafikk, men de utnyttes ikke effektivt på grunn av manglende koordinering mellom nettverk som forstyrrer hverandre. Moderne Wi-Fi-systemer introduserer også mange nye funksjoner og konfigurasjonsmuligheter, noe som gjør dynamisk optimalisering svært komplekst. Dagens løsninger bygger i hovedsak på teoretiske modeller eller heuristikker, som ikke utnytter reelle måledata effektivt og ikke klarer å optimalisere alle AP-ene samlet på grunn av det enorme søkeområdet. Eksisterende ML-baserte tilnærminger forutsetter ofte én sentralisert kontroller—noe som er upraktisk for selvstendig eide nettverk, og som dessuten skaper personvernutfordringer. DISCO introduserer tre hovedinnovasjoner: 1) Nye distribuerte online ML-algoritmer som lærer og følger en «interferensgraf» av Wi-Fi-nettverk ved å bruke tidsseriedata fra AP-er og klienter. Dette vil avdekke fellesskap av nettverk som forstyrrer hverandre, oppdage avvik og forutsi framtidig oppførsel. 2) Et fullt distribuert Multi-Agent Reinforcement Learning (MARL)-rammeverk som fordeler ressurser for å maksimere ytelse (f.eks. gjennomstrømming), ved å utnytte interferensgrafen. 3) Optimaliserte kommunikasjonsprotokoller mellom AP-er over backhaul-nettverket for å forbedre effektiviteten til MARL og sikre personvern. Løsningene vil testes med portable, container-baserte programvaremoduler både i simulatorer (f.eks. NS-3) og i virkelige plattformer, demonstrert i samarbeid med nasjonale og internasjonale partnere (Lyse Tele, Multinett, Nokia Bell Labs).

DISCO investigates the design of a new generation of decentralized Machine Learning (ML)-based methods for distributed learning and cooperative optimization over large-scale autonomous cooperative wireless Access Points (APs), representing intelligent agents. Even though Wi-Fi networks are the primary medium for global internet traffic, their operation is far from optimal because of the lack of coordination between the different interfering Wi-Fi Networks. They have evolved tremendously, bringing new features not previously present, however, they come together with a very large plethora of configuration parameters, which makes them extremely complex to optimize dynamically. Most of solutions proposed for network resource allocation are based on models and heuristics, not data-driven, and can not find efficiently the optimal configuration of all the parameters jointly across all the APs, due to the enormous search space. The few existing ML-based algorithms assume a centralized controller, which is not possible in practice for managing separately owned Wi-Fi networks, implying also a privacy threat. DISCO novelties: 1) novel distributed online ML algorithms to learn a multi-layer and multi-modal time-varying graph representing the overall dynamics of the interfering Wi-Fi networks, by using multivariate data time-series from APs & clients, detecting clusters of interfering Wi-Fi networks, allowing also to detect anomalies and predict variables; 2) a fully distributed Graph-Time Neural Network-based Multi-Agent Reinforcement Learning (MARL) algorithm for resource allocation, which operates directly on the learned graph, 3) optimization of interplay between the protocol connecting the APs (while enforcing privacy), and the efficiency of the distributed MARL algorithm. The solutions will be implemented using portable containerized software modules and demonstrated in collaboration with key leading national and international stakeholders (Altibox, Multinett, Bell Labs).