Enhanced Access to Norwegian Cultural Heritage using AI-driven Handwriting Recognition

Hugin-Munin-prosjektet (Engelsk) Hovedmålet med prosjektet er å utvikle et system basert på kunstig intelligens som automatisk kan transkribere alle historiske håndskrifter fra enhver norsk forfatter, selv om de ikke har blitt sett tidligere i treningsfasen av systemet. Dette målet er tett knyttet til Nasjonalbibliotekets rolle som et knutepunkt for håndskriftgjenkjenning for den norske GLAM-sektoren (Gallerier, Biblioteker, Arkiver og Museer). Selv om det har vært store fremskritt innen kunstig intelligens, datalingvistikk og nevrale nettverk, finnes det ikke et generelt system med akseptabel kvalitet for norsk. Det finnes bare spesialiserte systemer som kan gjenkjenne håndskrift fra forfattere i treningssettet med tilstrekkelig kvalitet. Mellommålene er å forbedre den spesialiserte gjenkjenningen for forfattere i treningssettet, øke antall forfattere i treningen og automatisere treningsprosessen så mye som mulig. Følgende trinn vil bli brukt for å nå målene: Bygge videre på eksisterende systemer for å lage et robust layout-system, det vil si finne tekstlinjer, som kan tilpasse seg nye forfatteres stil. Bruke og tilpasse toppmoderne nevrale nettverksteknologier for tegn-gjenkjenning. Utnytte avansert lingvistikk for historisk norsk for å forbedre gjenkjennelsen. Inkludere nye teknikker som å lage kunstige dokumenter som etterligner en forfatters håndskrift (ved bruk av GAN-nettverk), men med kjent innhold slik at de kan brukes til opplæring uten manuelt arbeid. Bruke en trenbar funksjonsbasert metode ("Zero-shot ordgjenkjenning og spotting") for å gjenkjenne usette ord og forbedre resultatene fra annen behandling. Generere et stort treningssett med et variert sett av skrivestiler og forsøke å minimere den manuelle innsatsen som kreves for transkripsjon. Prosjektet vil legge stor vekt på testing og analyse av testresultater med tilbakemelding til utviklingen for å spore fremgang og identifisere problemer som trenger spesiell oppmerksomhet.

A digitized document is basically a visual representation that can be read only by humans. To permit computational analysis, the information in the document must be made machine-readable. This is currently standard procedure when digitizing printed documents using Optical Character Recognition (OCR). Even though today's automatic handwriting recognition systems (HTR) can produce transcripts usable for further processing, like indexing or Natural Language Processing, they are still not part of standard digitization procedures. The reason for this is that creating samples representative of the vast diversity of documents and handwriting styles would require annotating unrealistically large numbers of documents, even in the case of relatively small collections. The overall aim of the HUGIN-MUNIN project is to develop technological solutions that will enable the use of HTR without the requirements for massive manual annotation and model training. The solutions developed will go beyond traditional supervised machine learning by using ideas from active learning, unsupervised learning, transfer learning, and zero-shot learning. It will also leverage natural language processing resources recently developed for Norwegian. The impact of the project could be very significant as the National Library acts as a digitization hub for the Norwegian LAM sector. The project will significantly increase the scope and variety of sources available for data-driven research on Norwegian culture and society. It will also democratize the access to knowledge by enabling the public to read documents that have so far been mainly reserved for domain experts and scholars. The project is one of close interdisciplinary collaboration, both nationally and internationally. This will expand Norwegian experience and competence in AI/autonomous systems expertise and ehance the innovative potential of the Norwegian LAM sector.