Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

Logic-based Artificial Intelligence Everywhere: Tsetlin Machines in Hardware

Alternativ tittel: Logikkbasert kunstig intelligens overalt: Tsetlin-maskiner i hardvare.

Tildelt: kr 14,6 mill.

Tsetlinmaskiner er en ny form for maskinlæring som er basert på setningslogikk og Tsetlin-automater (endelige tilstandsautomater for maskinlæring). De lærer ved å trekke ut typiske mønstre fra data og beskriver disse med logiske uttrykk. Enkelheten i de logiske uttrykkene muliggjør svært lavt energiforbruk og rask parallell maskinvare. Til tross for denne enkelheten har Tsetlin-maskiner overgått nøyaktigheten til enkle dype nevrale nettverk på flere datasett. I dette prosjektet tar vi sikte på å løse tre sentrale utfordringer i Tsetlin-maskinforskningen: 1) Nåværende maskinvareprototyper er begrenset til småskala maskinlæringsproblemer. 2) Det er uklart hvordan man kan utføre forsterkningslæring (læring fra straff og belønning), som er et grunnleggende maskinlæringsparadigme. 3) Vi vet ikke hvordan man kan trene TMer fra umerkede data, noe som er viktig for å håndtere flaskehalsen manuell merking av data skaper. Ved å overvinne disse tre ufordringene tar vi sikte på å lage et nytt programvare- og maskinvareøkosystem som overgår dagens maskinlæring. Dette vil muliggjøre kraftige logikkbaserte maskinlæringsapplikasjoner for alt fra tingenes internett til skyen. For den første utfordringen har vi vist hvordan vi kan redusere energiforbruket ved å innføre deterministiske læringstrinn. Vi har videreutviklet en skalerbar og asynkron arkitektur som kan utnytte parallell maskinvare. Våre nyeste maskinvaredesign skaleres nå for å støtte Tsetlin-maskinkonvolusjon for bildeanalyse, og vi introduserer en fullt asynkron Tsetlin-auttomatarkitektur med integrert ikke-flyktig minne. Når vi skalerer opp kompleksiteten til datasettene for maskinlæring, har vi lagt merke til betydelig minnetrafikk i maskinvaredesignene, noe som påvirker effektiviteten og gjennomstrømningen vår. For å redusere minneflaskehalsene har vi designet flere maskinvarearkitekturer i minnet som er i stand til å behandle lagringsdata i modulære minneenheter. For implementeringer i minnet har vi brukt to typer minneteknologier: tradisjonelle statiske RAM og nye ikke-flyktige resistive minner. Vi har også fokusert på databooleanisering for å bygge konsise og nøyaktige mønstre. Vi har utviklet visualiseringsmetoder for å forstå og forklare virkningen av booleanisering og hyperparametervalg på effektiviteten av maskinlæring. Ved siden av disse har vi foreslått maskinvaredesign ved bruk av såkalte Petri-nett, inkludert latensanalyse. For den andre utfordringen har vi utviklet det første Tsetlin-maskinrammeverket for off- og on-policy forsterkningslæring evaluert på grid-verdener. Videre, for brettspillet Hex har vi designet representasjoner og tolkningsmekanismer som tillater logikkbasert vinnerprediksjon. Vi har også løst problemet med online forsterkningslæring i en kontekst (det såkalte kontekstuelle bandittproblemet) med en Tsetlin-maskin, og utkonkurrerte andre populære sammenlignbare metoder. For komplekse oppgaver har vi observert at de logiske uttrykkene kan bli ganske lange. For å løse dette problemet har vi foreslått en ny variant av Tsetlinmaskinlæring der du kan begrense størrelsen på de logiske uttrykkene. Dette har tillat oss å halvere størrelsen på uttrykkene som ble brukt for vinnerprediksjon i Hex, uten tap i nøyaktighet. For den tredje utfordringen har vi utviklet en Tsetlin-maskinarkitektur som støtter kartlegging mellom flerdimensjonale inn- og utdataverdier. Denne tilnærmingen har muliggjort den første Tsetlinmaskin-baserte autoencoderen, samt selvlæring av språkmodeller. Vi har også laget den første ikke-ledede Tsetlin-maskinarkitekturen for å finne tolkbare klynger i data. For å adressere dynamiske miljøer har vi undersøkt en logisk tilnærming til modellering og deteksjon av datadrift. Til slutt har vi utviklet en metode for å avdekke relasjoner og struktur i data ved hjelp av et Tsetlinmaskin-produsert Bayesiansk nettverk, samt en Tsetlinmaskin-arkitektur for behandling av tidsserier. For alle disse tilnærmingene har vi utforsket ulike applikasjoner, inkludert sansing, planlegging, naturlig språkbehandling, bildeanalyse og beslutningsstøtte. Gjennom dette prosjektet har vi satt i gang flere forskningssamarbeid knyttet til individuelle utfordringer. Disse inkluderer effektiv bruk av visualisering for å utforske ulike algoritmer og deres atferdsdynamikk, sammen med utvikling av ensemblemetoder for å løse nøyaktighetsproblemer for maskinlæringsproblemer i stor skala. Funnene og resultatene av prosjektet har vært grunnleggende for å utforske nye veier for Tsetlinmaskinen.

Tsetlin Machines (TMs) are a new machine learning (ML) approach founded on the Tsetlin Automaton. TMs use frequent pattern mining and resource allocation to extract common patterns in the data, rather than relying on minimizing output error, which is prone to overfitting. Unlike the intertwined nature of pattern representation in neural networks (NNs), TMs decompose problems into self-contained patterns, each represented as a conjunctive clause. The clause outputs, in turn, are combined into a classification decision through summation and thresholding, akin to a logistic regression function, however, with binary weights and a unit step output function. TM hardware (HW) has demonstrated up to three orders of magnitude reduced energy and faster learning, compared to NNs alike. Logic-driven fundamental blocks, organized in lean parallel processing units, are major contributors to this comparative advantage over NNs that are heavily arithmetic-based. The TM further outperforms vanilla CNNs and LSTMs accuracy-wise on well-established benchmarks. While the reported results on TMs are promising in terms of scalability, training time, accuracy, and energy, we here address three major obstacles. 1) Current FPGA and ASIC prototypes lack scalable memory elements, constraining them to small-scale ML problems. 2) Reinforcement learning (RL) is key to many ML problems, such as playing board games, however, it is unclear how to model RL in the TM framework. 3) State-of-the-art deep learning models support pre-training on unlabelled data, which significantly improves the accuracy of following supervised learning, dealing with shortage of labelled data. It is unclear how to pre-train TMs from unlabelled data. By overcoming these three obstacles we aim to architect a new TM HW/SW ecosystem that outperforms state-of-the-art ML in terms of energy efficiency and scalability, parametrised by accuracy. This will enable powerful logic-based ML applications at the edge and in the cloud.

Budsjettformål:

IKTPLUSS-IKT og digital innovasjon