Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

Logic-based Artificial Intelligence Everywhere: Tsetlin Machines in Hardware

Alternativ tittel: Logikkbasert kunstig intelligens overalt: Tsetlin-maskiner i hardvare.

Tildelt: kr 14,6 mill.

Tsetlin-maskiner er en ny form for maskinlæring som er basert på setningslogikk og Tsetlin-automater (endelige tilstandsautomater for maskinlæring). De lærer ved å trekke ut typiske mønstre fra data og beskriver disse med logiske uttrykk. Enkelheten i de logiske uttrykkene muliggjør svært lavt energiforbruk og rask parallell maskinvare. Til tross for denne enkelheten har Tsetlin-maskiner overgått nøyaktigheten til enkle dype nevrale nettverk på flere datasett. I dette prosjektet tar vi sikte på å løse tre sentrale utfordringer i Tsetlin-maskinforskningen: 1) Nåværende maskinvareprototyper er begrenset til småskala maskinlæringsproblemer. 2) Det er uklart hvordan man kan utføre forsterkningslæring (læring fra straff og belønning), som er et grunnleggende maskinlæringsparadigme. 3) Vi vet ikke hvordan man kan trene TMer fra umerkede data, noe som er viktig for å håndtere flaskehalsen manuell merking av data skaper. Ved å overvinne disse tre ufordringene tar vi sikte på å lage et nytt programvare- og maskinvareøkosystem som overgår dagens maskinlæring. Dette vil muliggjøre kraftige logikkbaserte maskinlæringsapplikasjoner for alt fra tingenes internett til skyen. For den første utfordringen har vi vist hvordan man kan redusere energibruken ved å innføre deterministiske læringstrinn. Vi har videre utviklet en skalerbar og asynkron arkitektur som kan utnytte parallel maskinvare. Til slutt har vi designet maskinvare ved hjelp av såkalte Petri-nett, inkludert latensanaylse. For den andre utfordringen har vi utviklet det første Tsetlinmaskin-rammeverket for forsterkningslæring og vist at modellene som bygges er tolkbare. For den tredje utfordringen har vi til slutt utviklet en Tsetlinmaskin-arkitektur som støtter avbildning mellom mangedimensionale input- og output-verdier. Dette er første skritt mot læring fra umerkede data.

Tsetlin Machines (TMs) are a new machine learning (ML) approach founded on the Tsetlin Automaton. TMs use frequent pattern mining and resource allocation to extract common patterns in the data, rather than relying on minimizing output error, which is prone to overfitting. Unlike the intertwined nature of pattern representation in neural networks (NNs), TMs decompose problems into self-contained patterns, each represented as a conjunctive clause. The clause outputs, in turn, are combined into a classification decision through summation and thresholding, akin to a logistic regression function, however, with binary weights and a unit step output function. TM hardware (HW) has demonstrated up to three orders of magnitude reduced energy and faster learning, compared to NNs alike. Logic-driven fundamental blocks, organized in lean parallel processing units, are major contributors to this comparative advantage over NNs that are heavily arithmetic-based. The TM further outperforms vanilla CNNs and LSTMs accuracy-wise on well-established benchmarks. While the reported results on TMs are promising in terms of scalability, training time, accuracy, and energy, we here address three major obstacles. 1) Current FPGA and ASIC prototypes lack scalable memory elements, constraining them to small-scale ML problems. 2) Reinforcement learning (RL) is key to many ML problems, such as playing board games, however, it is unclear how to model RL in the TM framework. 3) State-of-the-art deep learning models support pre-training on unlabelled data, which significantly improves the accuracy of following supervised learning, dealing with shortage of labelled data. It is unclear how to pre-train TMs from unlabelled data. By overcoming these three obstacles we aim to architect a new TM HW/SW ecosystem that outperforms state-of-the-art ML in terms of energy efficiency and scalability, parametrised by accuracy. This will enable powerful logic-based ML applications at the edge and in the cloud.

Aktivitet:

IKTPLUSS-IKT og digital innovasjon