MIRAGE: A Comprehensive AI-Based System for Advanced Music Analysis

Et hovedmål i prosjektet er å videreutvikle datamaskiners evne til å lytte til og forstå musikk. Vi utvikler banebrytende teknologi som også vil kunne hjelpe menneskelige lyttere til å bedre forstå og verdsette musikk. En viktig anvendelse av denne teknologien vil være å gjøre musikk mer tilgjengelig og engasjerende. Vi utvikler designet på computerstøttede analytiske verktøy, verktøy som henter ut store mengder informasjon om musikalske elementer som klang, tonehøyder, rytme, tonalitet og form. Vi tar for oss hardingfelemusikk, og utvikler verktøy for å kunne gjøre automatiske transkripsjoner fra lydopptak til noteskrift, identifisere taktslagene, og gjengi mer subtile aspekter ved den musikalske strukturen. Avansert musikkanalyse basert på kunstig intelligens kombinert med innsikter fra musikkvitenskap, kan bringe musikkforskere nærmere svarene de leter etter. Nå er vi snart kommet så langt at vi kan lage verktøy som forstår logikken i musikk. Vi trener maskinen til å identifisere toner automatisk. Musikken maskinen skal kunne klare å transkribere, er Nasjonalbibliotekets katalog med folkemusikk. Norsk folkemusikk, og særlig hardingfelemusikk, er vanskelig materie for maskinen. Den store mengden eksempler som trengs, var i utgangspunktet ikke tilgjengelig. Derfor har vi bedt musikere, den profesjonelle felespilleren Olav Luksengård Mjelva og noen studenter fra Norges musikkhøgskole, om å spille for oss, og designet en programvare hvor de kunne se lydene visuelt og plassere notene for oss. Vi bruker nå dette materialet til å lære maskinen hvordan den automatisk kan oppdage tonene hardingfela spiller. Neste trinn handler om å oppdage takt. Den er kompleks i felemusikk. Prosjektet tar også for seg et stort utvalg musikalske stilarter fra tradisjonsmusikk, klassisk musikk og populærmusikk, akustisk så vel som elektronisk, og fra ulike kulturer. Denne omfattende kartleggingen av musikkelementer ved hjelp av våre dataredskaper, blir også brukt til å utforske lytteres affektive og kroppslige musikk-relaterte opplevelser. Foruten forskningsfeltene musikkvitenskap, musikkteknologi og musikkognisjon, tar vårt prosjekt også sikte på å utvikle nye teknologier til bruk for allmennheten - som det å kunne generere videofiler fra en hvilken som helst type musikk. En utfordring ved musikklytting, er at den alltid avhenger av lytterens tidligere erfaring. Vi tror at automatisert, maskingenerert, interaktiv visualisering av lyd-data kan hjelpe lytteren til bedre å forstå og nyte den musikken vedkommende liker (eller ennå ikke liker). Dette vil kunne berike musikkopplevelsen og gjøre musikken mer tilgjengelig. Hvis vi kan gi folk verktøy for å forstå musikken bedre, gir vi dem samtidig tilgang til mye ny musikk. Det vil være bra for den enkelte, men også for musikken i seg selv, for mangfoldet i hele det musikalske økosystemet. Med appen som vi tar sikte på å utvikle, vil du kunne bla i katalogen av folkemusikk og dra på oppdagelsesreise i musikken. Når du finner en slått eller et stev du liker, kan appen peke deg i retning av noe i samme landskap. En av måtene du kan samhandle med musikken er ved å se den. Ser du et videoklipp, som spiller på flere sanser og setter i sving flere følelser, vil det hjelpe mange å forstå folkemusikken bedre. Vi jobber med å finne en god balanse mellom det å få nok detaljer til å forstå mer enn ved å kun lytte, og det å få for mange detaljer: noe vi tror vil ta konsentrasjonen bort fra musikken. Det kan til og med være en slags 'gamifisering': en interaktiv app hvor du starter med enkel visualisering, og når du mestrer og forstår hva som skjer, får du etter hvert en mer kompleks versjon. Den samme teknologien som vil bli til en app på smarttelefonen din, kan også brukes på scenen. Da Den danske strykekvartett fremførte Bachs "Die Kunst der Fuge" ved MusicLab-konserten i København i Oktober 2021, ble en video projisert på bakscenen som visualiserte musikken grafisk i sanntid mens den utspilte seg. Da de fire musikerne spilte gjennom temaene, kunne publikum se hvordan de forskjellige stemmene gjentok hvert tema. Hypotesen vår er at særlig utrente lyttere vil forstå mer om de også kan se hva som skjer. Temaene vises etter hverandre på skjermen, så når musikerne begynner en ny gjentakelse, så ser du sammenhengene. Ved en MusicLab-konsert I Oslo i November 2021, ble det vist en video i sanntid som gjenga den synestetiske opplevelsen til en gitarist som improviserte. Vi vurderer også å utvikle applikasjoner til bruk innen musikkterapi. Et nettbasert symposium i juni 2021 inviterte et stort panel av europeiske forskere innen komputasjonell musikkanalyse til å presentere sine perspektiver. Et spesialarrangement på Nasjonalbiblioteket i mai 2023 feiret den norske folkemusikktradisjonen, og viste frem vårt nye nettbaserte arkiv og demonstrerte rikdommen av hardingfelemusikk med live framføring. Et avsluttende seminar ble organisert på Nasjonalbiblioteket i april 2024.

A groundbreaking system has been developed that automatically transcribes Norwegian folk music, particularly Hardanger fiddle music, into written scores. By carefully annotating a large dataset of Hardanger fiddle recordings, we created a machine learning model that accurately detects individual notes. To support this task, a custom annotation software named Annotemus was designed. Additionally, a novel approach has been introduced to overcome the challenge of detecting rhythmic beats in the irregular patterns characteristic of Hardanger fiddle music. This method does not rely on pre-existing training data of beats and potentially offers insights into the cognitive processes of human beat perception. The transcription technology is being rolled out to cultural institutions and music publishers who need to transcribe archival recordings or create new scores. This technology not only aids copyright protection by allowing for comparisons between performances but also enables the production of videos that elegantly display music scores. Beyond transcription, we are developing an extensive system for music analysis that generates a rich and detailed description of music along a large range of parametric and structural dimensions. The approach follows a transdisciplinary perspective, articulating traditional musicology. The modelling enables to establish a detailed and explicit answer to theoretical musicological problems, related to the formalisation of music analysis. The rich description of music also fosters the enrichment of cognitive models predicting listeners’ percepts and reactions to music, for instance for the study of emotion in music. This computational system built on a set of general heuristics that is able to mimic music cognition on a large range of music, offers a valuable blueprint for the establishment of cognitive models. For the general public, the technology promises innovative applications, including real-time visualizations that enhance music appreciation for listeners of all backgrounds and abilities. It aims to offer a more engaging and interactive way of experiencing music than traditional listening, potentially aiding music therapy and enriching the music ecosystem. Two notable public implementations of this technology were demonstrated in concerts during 2021. In Copenhagen, the Danish String Quartet's performance of Bach's The Art of Fugue was accompanied by a real-time visual explanation, while an Oslo concert featured a recreation of synesthesia during a guitarist's live improvisation. These visualizations improved accessibility and offered unique insights into the music being performed, catering to both hearing audiences and those with hearing difficulties.

MIRAGE aims at conceiving a ground-breaking AI system for music analysis that will generate a rich and detailed description of music along a large range of parametric and structural dimensions. This will enable musicologists to acquire a systematic and explicit understanding of music in a much deeper level than using traditional methods or previous state of the art in computational musicology. The scientific ambitions of MIRAGE is not solely related to the conception of AI and signal processing algorithms able to perform advanced operations of interest for musicology. It is also to establish a detailed and explicit answer to theoretical musicological problems, related to the formalization of music analysis. The rich description of music will also foster the enrichment of cognitive models predicting listeners’ percepts and reactions to music, for instance for the study of emotion in music. Moreover, music cognition needs to be understood as a complex system composed of highly interdependent modules. A computational system built on a set of general heuristics that is able to mimic music cognition on a large range of music would offer a valuable blueprint for the establishment of cognitive models. The software technologies developed in the project will also have a wider transformational impact on how tomorrow’s technologies will be used to understand and appreciate music. We will also apply these technologies for music therapy. The approach follows a transdisciplinary perspective, articulating traditional musicology, cognitive science, signal processing and artificial intelligence. This project in collaboration with the National Library of Norway, world leading in digitizing cultural heritage, will help developing further the field of Digital Humanities, which is under-developed in Norway.