SOCRATES: Self-Organising Computational substRATES

Økningen i datamengder vil påvirke alle datasystemer, fra de aller minste til de gigantiske. Dagens datateknologi har problemer med skalering og analyser, på grunn av energiforbruket og den fysiske arkitekturen til dagens maskiner. For å kunne ta unna for dataveksten, trengs det helt ny maskinvare. SOCRATES er et langsiktig forskningsprosjekt som har som mål å finne nye måter å bygge datamaskiner på. I SOCRATES-prosjektet dyrker vi levende nevrale nettverk, der inspirasjon fra disse nettverkene skal overføres til nanomagnetmaterialer i form av Artificial Spin Ice (ASI). SOCRATES gror levende nevrale nettverk for å samle data om hvordan slike nettverk organiserer seg. Struktur og oppførsel i levende nevrale nettverk er et resultat av selvorganisering, og dataene analyseres for å finne ut hvordan disse biologiske nettverkene organiserer seg. Analyser av nettverksdata brukes til å lage modeller for nevral oppførsel som kan være fordelaktig for beregninger. Prinsipper fra disse modellene skal så inkluderes i SOCRATES nanomagnet maskinvare i SOKRATES prosjektet er det funnet modeller og utviklet tilhørende simuleringsrammeverk for å gjøre oss i stand til å modellere de underliggende komplekse systemene i tilstrekkelig størrelse (mengde elementer) og tilstrekkelig raskt for å kunne simulere systemer med egenskaper som er nødvendig for å kunne utføre eksperiment der nanomagnet systemet kan vise egenskaper som er nødvendige for beregninger. I SOCRATES prosjektet er det produsert nanomagnetsystemer med opptil 100 000 nanomagneter arrangert i forskjellige geometrier (mønster) på NTNU NanoLab. For å kunne måle og verifisere at simulerings eksperimentene kan gjenskapes i fysiske nanomagnet system har vi benyttet internasjonale laboratorier med nødvendige synkrotron fasiliteter (XPEEM) samt laboratoriefasiliteter på NTNU (MFM og MOKE). For våre levende nevrale nettverk har vi kultivert modifiserte nevrale subtyper og brukt rottehjerne nevroner. Det levende nevrale nettverkene brukes til å studere framvoksende (emergence) oppførsel inkludert utforskning av hvordan en kan stimulere for å påvirke oppførsel og/eller struktur. SOCRATES prosjektet avslutter i 2022. Ved prosjektslutt demonstrerte vi hvordan egenskaper i selv-organisering og emergente systemer kan utnyttes for beregninger i nanomagnet system. «Reservoir Computing», en type kunstig neuralt nettverk med muligheter for tilbakekopling, og dermed også minne, er brukt som modell og rammeverk i prosjektet. For å klare å utnytte inspirasjon fra oppførselen til biologiske neurale nettverk, eller et hvert komplekst dynamisk system med kontinuerlig rom og tid, til beregninger er det nødvendig å abstrahere til et nivå som er fordelaktig for et datamaskinsystem. I SOCRATES prosjektet er abstraksjonen nivået satt til diskré nettverk. For å kunne gå til den ønskede diskré abstraksjonen utviklet SOCRATES et simulerings rammeverket EvoDynamic. EvoDynamic er konstruert for å kunne utforske selv-organiserende system som diskre dynamiske system. Simulator rammeverket muliggjør simulering av fysiske komplekse system som neurale nettverk, eller andre nettverk der det er overvekt av lokale forbindelser mellom noder («sparsely connected networks»). En slik diskre abstraksjon gjør det mulig å utforske nettverk struktur, lokal informasjon og læringsregler ved bruk av reservoir computing. Diskre oppførsel er også abstraksjonsnivået som ASI ligger på, ved å utforme nanomagnetene sin geometri kan en lage system der den enkelt magnet kun kan være i en av to mulige tilstander (dipol magneter). Det er da mulig å betrakte magnetene som diskre binære elementer. ASI systemet er dermed et diskret dynamisk system. For å kunne utforske forskjellige ASI-geometrier, protokoller for data stimulering, og mulig oppførsel («tuning») innenfor reservoir computing rammeverket har SOCRATES prosjektet funnet en dipol modell tilnærming som er nøyaktig nok til å verifisere simulerings eksperiment i fysiske system. Dipol modellen vår er satt inn i et simuleringsrammeverk, flatspin, som kan simulere ASIer raskt nok og i en størrelse som muliggjør å utforske og teste ASI-systemer som et nytt substrat for beregninger. SOCRATES prosjektet viser at ASI med en diskre abstraksjon kan utføre nyttige beregninger. Eksperimentelle resultat, i simulering, viser at ASI nanosystem kan tilpasses (kontrolleres) til å utføre AI-relaterte oppgaver, ikke bare mot en test oppgave, men at ASI-system kan tilpasses til å ha generelle egenskaper som å kunne generalisere og differensiere, samt minneegenskapen «fading memory». Dette er egenskaper som er nødvendig for alle typer klassifiseringsproblem. Minne egenskapen viser også at ASI er lovende med hensyn til oppgaver med temporære komponenter. Simuleringseksperimentene med fenomen, protokoller og metoder for tilpasning for å kontrollere oppførsel fra flatspin er verifisert i fysiske nanosystem (i X-PEEM og MOKE forsøk).

Primary: -Open-source models and simulator framework: Two open-source for i) simulation of physical reservoir as discrete dynamic system, called "EvoDynamics". ii) a dipole model for ASI including a simulation framwork capable of simulating large scale discrete dynamics at a level of accuracy that can be verified experimentally, called "flatspin". The two models and simulator framework are both based on models of interacting elements with a possibility to perturb. -Open access data from in vitro MicroElectrode Array experiments. -Protocols and methods to tune nanomagnet ensembles to dynamic regimes where computational properties can be exploited.. -Prove of principle of computation in nanomagnet systems using the Reservoir Computing paradigme.. -ASI as a tuneable reservoir for the reservoir computing framework -Showing computational properties in ASIs that are significant for AI type of problems, i.e. classification and pattern recognition and memory. Results are general, The well known benchmark of generalization and kernel quality together with a measure of computational quality was used to show that ASI based nanosystems indeed have required properties to do useful computation. Secondary: -Of the four PhD candidates one have delivered, the thesis is approved and the defence is set to March 13th . One is currently on parental leave, writing up stage, expect to deliver in 2023. One has been granted extra time to be able to have a sty abroad, also in write-up stage, expected to deliver 2023. The last is also in the write-up stage and expected to deliver in 2023. The project manage good in the Coronavirus period, but the PhDs publishing was is delayed. In the project period 25 academic papers has been published, there are 3 in process near publication in 2023 and results that need more processing and confirmation experiments for later publications. In the project period the SOCRATES team has strengthen the collaboration with University of York and University (UK) of Ghent (BE). There as been established a close and active collaboration with the University of Sheffield (UK), the Paul Scherrer Institute at ETH-Zurich and IBM research Zurich. The SOCRATES project can be said to be an early initiative to the newfound interest for morphogenetic engineering in physical substrates and the revisited focus on unconventional computing. Internationally the European union has supported several projects, e.g. HYBRAIN where SOCRATES team member is an external monitors. A SOCRATES team member act as party of the UK funded MARCH project, coordinated by the University of York. The team has given key notes at international conferences and workshops. Parts of the SOCRATES team successfully applied for a FET-Open project, SpinENGINE. The project is coordinated by NTNU. Partners are University of Sheffield, the University of Ghent, the Paul Scherrer Institute at ETH-Zurich and IBM research Zurich.

SOCRATES is a long-term time horizon project seeking radical breakthroughs toward efficient and powerful data analysis available everywhere, from the simplest sensor node to the most complex supercomputer. SOCRATES will exploit novel substrates that support self-organization through local interactions to create a theoretical and experimental foundation for a new computing paradigm. Such a complex systems approach to analytics opens for a radical breakthrough in the field of computing, alleviating main problems of contemporary computer systems relating to energy efficiency, scalability, and self-learning. The data analytic challenge is importunate in today's increasingly data-rich society. Where a staggering 2.5 exabytes are created every day and emerging technologies like the Internet of things (IoT) will substantially increase the data growth rate, and further increase the demand for efficient analysis. To achieve efficient analysis everywhere, fundamentally new hardware approaches that are efficient, scalable, and may be adapted to the needs of diverse and complex data analysis tasks are required. An ideal system for realization of efficient hardware should be capable of vast parallel processing of data with inherent parallel learning capability. In SOCRATES, a fundamentally new hardware approach based on principles from morphogenetic engineering (i.e., dynamic development of complex heterogeneous structures) will be developed to meet these requirements. SOCRATES will leverage substrates with self-organizing and emergent behaviour to create systems with the property of inherently changing state transition functions and the set of state variables over time (caused by bio-inspired morphological processes). We aim at creating a theoretical and experimental foundation of morphogenetic systems based on self-organizing and emergent behaviour in biological neural nets and ensembles of nanomagnets that have all the desired properties of an ideal system for data analysis.