SCRIBE: Machine transcription of Norwegian conversational speech

De siste årene har vi sett en økning i smarte enheter, som telefoner, klokker og høyttalere, som vi bruker regelmessig. Den enkleste måten å samhandle med disse enhetene er med naturlig tale. Det innebærer at taleteknologi, som muliggjør en slik interaksjon, har en stadig økende innvirkning på hverdagen vår. Teknologien forenkler mange oppgaver for folk flest, men gjør også noen oppgaver mulige å gjennomføre for mennesker som ellers ville vært ekskludert på grunn av funksjonshemninger. Likevel, i mange situasjoner er ikke dagens teknologi tilstrekkelig avansert til å være virkelig nyttig. Spontan tale, samtaler mellom to eller flere; tale med omgivelsesstøy og tale fra to som snakker samtidig er blant situasjonene der vi fremdeles ikke har tilfredsstillende ytelse av dagens taleteknologi. Videre fungerer kommersielle løsninger vanligvis ikke like bra for språk som norsk som de gjør for engelsk og andre språk som snakkes av større befolkninger. SCRIBEs mål er å forbedre taleteknologien på norsk ved å utvikle et transkripsjonssystem for tale til tekst for flerpartssamtaler under realistiske opptaksforhold. For å oppnå prosjektmålet er det behov for forskning og teknologiutvikling utover dagens forskningsfront innen flere nøkkelområder. Disse inkluderer problemstillinger og fenomener som gjelder alle språk så vel som utfordinger som er spesielt knyttet til norsk språk. Vi vil utvikle modeller som håndterer språklig variasjon som er typisk i spontan tale og i samtaler, som kan takle interaksjonen mellom deltakerne i en samtale, og dra nytte av konteksten i dialogen. Modellene støtter også bruk av talte dialekter og forskjellige ortografier (bokmål, nynorsk eller dialektspesifikk). Vår målsetting er at disse fremskrittene vil gjøre det mulig for taleteknologi å nå sitt potensial på norsk, og ha en gunstig innvirkning på det norske samfunnet. I den siste 3-årsperioden har SCRIBE-prosjektet bidratt til følgende resultater: i) store datasamlinger og annoteringer av språkdata som er essensielle for forskning på norsk tale og taleteknologi også ut over SCRIBE-prosjektets forskningstema, ii) støtte til utvikling av systemer for talegjenkjenning basert på adapsjon av tilgjengelige, generelle modeller for representasjon av tale som er trent på enorme mengder (flerspråklig) tale, iii) utvikling av nye semantiske metrikker for evaluering av automatisk genererte transkripsjoner som samsvarer bedre med menneskelig vurdering enn nåværende metrikker, der alle transkripsjonsfeil teller likt, iv) analyse av systemer for automatisk talegjenkjenning med hensyn på norske dialekter og v) studier av menneskelig persepsjon av norske dialekter. I tillegg har SCRIBE, i samarbeid med beslektede prosjekt, bidratt til utvikling av talegjenkjenning og uttalevurdering av barnestemmer, samt innsamling av en unik norsk taledatabase med opptak av både barn med norsk som morsmål og av barn med norsk som andrespråk.

SCRIBE will develop a Norwegian speech-to-text transcription system capable of transcribing multi-party conversations. Speech technology has demonstrated a remarkable progress over the last decade, much due to the evolution of deep learning combined with the availability of massive amounts of speech and language data and high-performance computational resources. Although the amount of language data required for developing high performance speech technology is similar for all languages, irrespective of the number of speakers, products and services have become available that enable spoken communication with computers, even for smaller languages, like Norwegian. Examples include devices like Google Home, services like Siri and Google Voice Search, and voice command and dictation capabilities in recent versions of Windows and OS X. Yet, for many real-life situations, current technology is not sufficiently advanced to be really useful. Issues like spontaneous, conversational speech; ambient noise and overlapping speech are among the situations where we still do not have satisfactory performance of current speech technology. For Norwegian, existing speech corpora are moderate in size compared to other languages, and mainly contain read and non-conversational speech. Matters are complicated further by large variations in dialects. The problem is that these “phenomena” occur in a variety of situations where automated solutions would be of great use. The system we will develop in SCRIBE will fill the gap in current speech recognition systems for Norwegian. It will be robust to disfluencies that are typical of spontaneous conversational speech, and will support the spoken and written dialectal variation of the Norwegian Language. It will also be assessed on metrics that are more closely related to the semantic content of the transcription, rather than on the number of misrecognized words.