Tilbake til søkeresultatene

FRINATEK-Fri prosj.st. mat.,naturv.,tek

SPECTRUM: Graph Learning

Alternativ tittel: SPECTRUM: Graflæring

Tildelt: kr 3,6 mill.

Prosjektnummer:

313727

Søknadstype:

Prosjektperiode:

2021 - 2024

Geografi:

Nevrale nettverk er beregningsstrukturer laget for å skape abstraksjon fra inngangsdata - for eksempel sensorinnganger - til kunnskap. På samme måte som menneskelige hjerner overfører de informasjon fra en node til en annen, og etterligner elektriske signaler som beveger seg langs nevroner. Det kombinatoriske objektet som representerer strukturen til et nevralt nettverk er kjent som en graf. Utfordringen innen SPECTRUM er å optimere styrken til nevrale nettverk ved å operere på grafene som ligger til grunn for dem. For å oppnå dette målet foreslår vi å bruke verktøy fra det matematiske fagfeltet spektral grafteori. Som en gitarstreng eller en stjerne på himmelen, avgir hver graf informasjon på bestemte frekvenser. Spektral grafteori er den matematiske studien av egenskaper til grafer ut fra mengden av deres frekvenser, som er kjent som spekteret. Dette rammeverket er spesielt godt egnet for dette prosjektet, siden forskjellige størrelser knyttet til grafer, som uttrykker deres evne til å overføre informasjon og deres tilkoblings- og utvidelsesegenskaper, har vist seg å være naturlig forbundet med deres spektrum. Mer detaljert vil vi bruke spektral graf-teoretiske verktøy til å - optimere effektiviteten til eksisterende nevrale nettverksarkitekturer; - designe en ny nevral nettverksarkitektur basert på en Markov-kjedemekanisme, som bedre ligner den faktiske overføringen av informasjon i hjernen. Grafstrukturen til denne nye arkitekturen vil være roten til økt tilpasningsevne til ulike oppgaver sammenlignet med eksisterende arkitekturer. Suksessen med dette prosjektet vil legge grunnlaget for en ny generasjon beregningsstrukturer: grafer som tenker, og lærer.

Artificial neural networks - computing systems fundamental to Machine Learning - can be mathematically viewed as graphs. SPECTRUM aims at exploiting the graph structure of neural networks to improve their performance, by using Spectral Graph Theory (SGT). In particular, the goals of SPECTRUM are: (G1) to provide an original framework for optimizing existing neural network architectures by modifying the graphs underlying their structure; (G2) to design and optimize a novel architecture based on the theory of Markov chains on graphs and inspired by the mechanism of signal transmission in the human brain during the learning process. For both G1 and G2, SGT will provide tools to quantify the dependence of the neural network efficiency on the structure of the graph underlying it and, hence, methods to improve efficiency. The main challenges of SPECTRUM are: (CH1) solving open problems in SGT related to the optimization of quantities such as the algebraic connectivity and Kemeny’s constant over certain families of graphs and to the use of Matrix Theory and Algebraic Graph Theory to speed up the computation of those quantities for graphs associated with neural networks, by exploiting their hierarchical structure; (CH2) solving technical issues concerning the implementation of the novel neural network architecture of G2. The PM will carry out the project at EPFL for the first two years and at UiO for the final year. The training at EPFL and the collaboration with Prof. Marcus will be crucial to address CH2; Prof. Dahl will support the rest of the team mainly for the aspects related to CH1. In the final stage of the project, the PM will organize scientific activities at UiO to disseminate the findings of SPECTRUM and to transfer the knowledge acquired in Switzerland to the Norwegian research community. He will also attend a pedagogical training program and a research leadership program at UiO. They will enhance the necessary skills to foster his future academic career.

Aktivitet:

FRINATEK-Fri prosj.st. mat.,naturv.,tek