SCRIBE: Machine transcription of Norwegian conversational speech

De siste årene har vi sett en økning i smarte enheter, som telefoner, klokker og høyttalere, som vi bruker regelmessig. Den mest naturlige måten å samhandle med disse enhetene er med naturlig tale. Det innebærer at taleteknologi, som muliggjør en slik interaksjon, har en stadig økende innvirkning på hverdagen vår. Teknologien forenkler mange oppgaver for folk flest, men gjør også noen oppgaver mulige for mennesker som ellers ville vært ekskludert på grunn av funksjonshemninger. Likevel, for mange virkelige situasjoner er ikke dagens teknologi tilstrekkelig avansert til å være virkelig nyttig. Problemer som spontan tale, samtaler; tale med omgivelsesstøy og overlappende tale er blant situasjonene der vi fremdeles ikke har tilfredsstillende ytelse av dagens taleteknologi. Videre fungerer kommersielle løsninger vanligvis ikke like bra for språk som norsk som de gjør for engelsk og andre språk som snakkes av større befolkninger. SCRIBEs mål er å forbedre taleteknologien på norsk ved å utvikle et transkripsjonssystem for tale til tekst for flerpartssamtaler under realistiske opptaksforhold. For å oppnå prosjektmålet er det behov for forskning og teknologiutvikling utover dagens forskningsfront innen flere nøkkelområder. Disse inkluderer problemstillinger og fenomener som gjelder alle språk så vel som utfordinger som er spesielt knyttet til norsk språk. Vi vil utvikle modeller som hondterer språklig variasjon som er typiske i spontan tale og i samtaler, som kan takle interaksjonen mellom deltakerne i en samtale, og dra nytte av konteksten i dialogen. Modellene støtter også bruk av talte dialekter og forskjellige ortografier (bokmål, nynorsk eller dialektspesifikk). Vår målestting er at disse fremskrittene vil gjøre det mulig for taleteknologi å nå sitt potensial på norsk, og ha en gunstig innvirkning på det norske samfunnet.

SCRIBE will develop a Norwegian speech-to-text transcription system capable of transcribing multi-party conversations. Speech technology has demonstrated a remarkable progress over the last decade, much due to the evolution of deep learning combined with the availability of massive amounts of speech and language data and high-performance computational resources. Although the amount of language data required for developing high performance speech technology is similar for all languages, irrespective of the number of speakers, products and services have become available that enable spoken communication with computers, even for smaller languages, like Norwegian. Examples include devices like Google Home, services like Siri and Google Voice Search, and voice command and dictation capabilities in recent versions of Windows and OS X. Yet, for many real-life situations, current technology is not sufficiently advanced to be really useful. Issues like spontaneous, conversational speech; ambient noise and overlapping speech are among the situations where we still do not have satisfactory performance of current speech technology. For Norwegian, existing speech corpora are moderate in size compared to other languages, and mainly contain read and non-conversational speech. Matters are complicated further by large variations in dialects. The problem is that these “phenomena” occur in a variety of situations where automated solutions would be of great use. The system we will develop in SCRIBE will fill the gap in current speech recognition systems for Norwegian. It will be robust to disfluencies that are typical of spontaneous conversational speech, and will support the spoken and written dialectal variation of the Norwegian Language. It will also be assessed on metrics that are more closely related to the semantic content of the transcription, rather than on the number of misrecognized words.