Bio-inspired neural networks for AI applications

Det foregår for tiden en svært hurtig utvikling innen kunstig intelligens (KI). Selv om KI overgår menneskelige ferdigheter på noen områder, er fremdeles den menneskelige hjerne overlegen på de fleste områder ? hjernen er mer robust, den er mer energieffektiv, den trenger færre eksempler for å lære, den lærer lettere komplekse oppgaver, og den kan overføre kunnskap fra et område til et annet. Nylig har det vært stor fremgang innen dype nettverk, som i prinsippet er basert på nevrofysiologiske prosesser, men i praksis er det store forskjeller på hvordan kunstige og biologiske nevrale nettverk virker. Vår hypotese er at kunstige nevrale nettverk som er basert på strukturen, dynamikken og læringsreglene i hjernen vil være vesentlig mer effektive og robuste enn modellene for kunstige nevrale nettverk som er dominerende i dag. Vi vil overføre ny kunnskap fra nevrovitenskap og bruke denne til å utvikle nye maskinlæringsmetoder som kan åpne for nye vitenskapelige og tekniske innovasjoner. Vi vil ta utgangspunkt i (i) hvordan representasjoner som grid-celler fra biologiske nevrale nettverk kan forbedre modeller for nevrale nettverk, (ii) hvordan vi kan utvikle og anvende effektive læringsregler i biologisk inspirerte nevrale nettverk og (iii) hvordan modeller for nevrale nettverk basert på «spikes» kan danne en ny modell for kunstige nevrale nettverk. Vi har satt sammen et tverrfaglig team for å løse disse utfordringene, med ledende eksperter innen nevrofysiologi, maskinlæring, statistisk fysikk, og beregningsvitenskap. Vårt mål er å bygge en tverrfaglig gruppe som kan påvirke KI forskning over lang tid med hurtige kanaler for overføring av kunnskap fra nevrovitenskap til KI med full integrasjon av eksperimenter, databeregninger og KI. Dette vil gi oss muligheten til å utvikle biologisk inspirerte maskinlæringsmetoder for fremtiden, og å utdanne en ny generasjon av tverrfaglige forskere og teknologer som kan utvikle neste generasjon KI vitenskap og anvendelser. Vi har i 2023 tre PhD-studenter og en førsteamanuensis II ansatt på prosjektet. Prosjektet er utviklet langs tre akser: (1) Vi har utviklet mer robuste kunstige nevrale nettverks-modeller inspirert av biologiske læringsregler. (2) Vi har utviklet og studert modeller for navigasjon basert på nevrale nettverk med tilbakekoblinger. I disse nettverken viser vi at grid-celler oppstår spontant og vi demonstrerer at de cellene som bidrar til navigasjon er cellene som befinner seg på en torus når dimensjonaliteten til systemet reduseres til tre dimensjoner. Dette kan vi bruke til å lage mer robuste modeller for overføringslæring. De første resultatene fra arbeidet ble publisert i 2023.

There has been an enormous development in artificial intelligence (AI) recently. However, while AI supersedes human skills in some fields, the brain is still far superior in many areas - it is more energy efficient, it needs fewer examples to learn, it can learn complex tasks easier, and it can transfer knowledge from one task to another. Recent progress has come in reinforcement learning and deep learning, which in principle are inspired by neurological processes, but in practice there are large differences between the way artificial and biological neural networks work. Our hypothesis is that artificial neural networks based on the structure, dynamics and learning rules in the brain will be significantly more effective than current models. We will transfer recent knowledge from neuroscience to develop new machine learning methods that open for new scientific and technological developments. We will address (i) how representations in biological networks can improve artificial network models, transfer and unsupervised learning models, (ii) how to develop and apply effective learning rules in biologically inspired neural networks, (iii) and how spiking neural networks can define a new model for artificial networks and processing, (iv) and develop a synergetic model that incorporates these features. To address these challenges, we have organized a cross-disciplinary team of leading experts in neurophysiology, machine learning, statistical physics, and computational science. We have experience in building and supervising cross-disciplinary breakthrough research, and have a broad international network of collaborators spanning neurophysiology, psychology, computational neuroscience and AI. This puts us in an excellent position to develop biologically inspired machine learning methods for the future, and to educate the next generation of interdisciplinary researchers and technologists that will develop the next generation of AI science and applications.