ECSEL-prosjekt SILENSE ((Ultra)Sound Interfaces and Low Energy Integrated Sensors)

I SILENSE prosjektet ble det forsket på nye akustiske teknologier og nye konsepter utviklet for å kunne aktivere og styre utstyr ved hjelp av gest, data kommunikasjon og innendørs posisjonering, basert på disse nye akustiske teknologiene. Konseptene som ble utviklet kan brukes i forskjellige domener f.eks. bærbar og smarte hjem anvendelser. Det ble utviklet bla nye sensorer og aktuatorer (mikrofoner, høyttalere) som er miniatyriserte. Komponentene ble sammensatt og ved hjelp av nye algoritmer som også ble utviklet og tilpasset programvare ble teknologien demonstrert i de forskjellige nevnte bruksområdene på slutten av prosjektet. Elliptic Labs har i prosjektet jobbet med definisjon av "use cases" for demonstratorene. Anvendelsesområdene som ble valgt er smarte hjem apparater og infrastruktur for offentlige plasser og/eller handel (for eksempel kjøpesenter). I det første område er det valgt å ha en gest styrt lampe som demonstrator. For denne demonstratoren brukes det ultralydsignaler fra ultralydhøyttalere og -mikrofoner innebygget i lampa. For det andre anvendelsesområdet ble det utviklet en personteller for å måle om folk går inn og ut en inngang. I tillegg ble det implementert bevegelsesmåling og sporing av signalene for å bestemme mengden av folk som går ut og inn et spesifikt område over tid. Etter 18M i prosjektet design spesifikasjonene for demonstratorene ble ferdigstilt og første prototyper som bruker hyllevarekomponenter som kan brukes til programvareutvikling ble ferdigstilt. Den første prototypen av den geststyrte lampa ble vist på Mobile World Congress 2018 med stor suksess. Elliptic Labs har i andre prosjektåret videreutviklet teknologien på softwaresiden spesielt basert på maskinlæring (ML) for å prosessere og analysere mottatte ultralydsekkoer. En ultralydopptaksplatform har blitt bygget for å samle inn ML treningsdata for å generere "fasiten", noe som er nødvendig for overvåket læring. Opptaksplatformen bruker en 3D kamera kombinert med maskinsyntekniker for å ekstrahere avstandsinformasjon fra brukerbevegelsen til ultralydsdevicen. Den visuelle datastrømmen er synkronisert med akustisk data slik at optiske og akustiske data kan sammenlignes for hendelsene i hvert tidspunkt. For de forskjellige use casene ble forskjellige treningsdata tatt opp for å avlede en klassifiseringsmodell basert på nevronale nettverk. Opptaksplatformen og ML klassifiseringen har blitt validert med bevegelsesmålings use casen. Et hyllvare smart speaker utviklingsboard har blitt brukt for å teste de trente klassifiseringene med ultralyd. Den nye prototypen har blitt presentert i prosjektet, på industrimesser og overfor potensielle kunder.I tredje prosjektåret har ytelsen blitt forbedret for demonstratoren og mulig utvidete funksjonalitet blitt undersøkt. SINTEF har jobbet sammen med Elliptic på å utvikle deres use cases og med å lage et optisk system for persontelleren som referanse. SINTEF har også vært arbeidspakkeleder for arbeidspakken i hele prosjektet som utviklet "use case" beskrivelsen og spesifikasjoner for resten av prosjektet. SINTEF har definert en egen demonstrator som bruker ultralyd for å forbedre måling av kroppsbevegelse med andre miniatyriserte sensorer og har implementert den fysiske demonstratoren og algoritmer. Demonstratoren skal i første omgang brukes å overvåke gange av MS pasienter, men skal utvides til anvendelser i idrett i framtidige prosjekter. En første prototype av denne demonstratoren har blitt laget og mange målinger har blitt tatt opp for å kunne forbedre ytelsen til siste utgaven. Denne siste versjonen har blitt karakterisert og testet. Resultatene blir publisert etter prosjektslutt. I tillegg har SINTEF laget en første utgave av nye miniatyriserte transdusere basert på piezoMEMS teknologi. Transduserne har blitt karakterisert og de fungerte nesten i henhold til spesifikasjonen som høyttalere. I andre prosjektåret har forskjellige partnere fått testet disse transduserne bla Elliptic Labs. SINTEF har også utviklet en ny generasjon av MEMS transdusere med en annen tynnfilmteknologi som er bedre egnet for ultralydmikrofoner. AlN og PZT med lav dielektrisk konstant har blitt undersøkt og et nytt design har blitt laget. Disse har blitt fabrikert i MiNaLaben og karakterisert. De viste gode resultater med tanke på frekvensrespons og følsomhet.

Oppnådde virkninger: Elliptic kunne fremstille prototyper basert på prosjektets resultater direkt til potensielle kunder. Forbedrede maskinlæringsproses som støtter bl.a. berøringsløs gest kan også brukes til å utvikle nye produkter. SINTEF fikk utviklet ny teknologi for piezoMEMS ultralyd transdusere og forbedrete sensorer på kroppen samt software for bevegelsesanalyse. Dette var vellykket og ser at vi har allerede større etterspørsel i forskningsmarkedet. Potensielle virkninger: Elliptic: Vi forventer salg av produkter som blir videreutviklet fra prototypene, og tar inn nye markedsområder som smarte høytalere og andre IoT-enheter. SINTEF ser på muligheten å kommersialisere noen resultater ved en spinn-off bedrift.

I SILENSE prosjektet forskes det på nye akustiske teknologier og det utvikles nye konsepter for å kunne aktivere og styre utstyr ved hjelp av gest, data kommunikasjon og innendørs posisjonering, basert på disse nye akustiske teknologiene. Konseptene som utvikles kan brukes i forskjellige domener: bærbar, bil og smarte hjem anvendelser. Det skal både utvikles nye sensorer og aktuatorer (mikrofoner, høyttalere) som er miniatyriserte og ny elektronikk for akustisk signalbehandling, spesielt for frekvenser i ultralydområdet. Komponentene skal da kunne settes sammen og ved hjelp av nye algoritmer som også skal utvikles og tilpasset programvare vil teknologien bli demonstrert i de forskjellige nevnte bruksområdene på slutten av prosjektet. Elliptic Labs vil i prosjektet jobbe med nye algoritmer, use cases og software samt bidrar i demonstratorarbeidet. SINTEF vil jobbe sammen med Elliptic og de andre partnere innenfor algoritmer, use case og software. I tillegg vil SINTEF bidrar med nye miniatyriserte transdusere basert på piezoMEMS teknologi og demonstratorer. MEMS stor for miniatyriserte elektromekaniske systemer.