Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

MIRAGE: A Comprehensive AI-Based System for Advanced Music Analysis

Alternativ tittel: MIRAGE: Et integrert AI-basert system for avansert musikkanalyse

Tildelt: kr 10,0 mill.

Et hovedmål i prosjektet er å videreutvikle datamaskiners evne til å lytte til og forstå musikk. Vi utvikler banebrytende teknologi som også vil kunne hjelpe menneskelige lyttere til å bedre forstå og verdsette musikk. En viktig anvendelse av denne teknologien vil være å gjøre musikk mer tilgjengelig og engasjerende. Vi utvikler designet på computerstøttede analytiske verktøy, verktøy som henter ut store mengder informasjon om musikalske elementer som klang, tonehøyder, rytme, tonalitet og form. For tiden tar vi for oss hardingfelemusikk, og utvikler verktøy for å kunne gjøre automatiske transkripsjoner fra lydopptak til noteskrift, identifisere taktslagene, og gjengi mer subtile aspekter ved den musikalske strukturen. Avansert musikkanalyse basert på kunstig intelligens kombinert med innsikter fra musikkvitenskap, kan bringe musikkforskere nærmere svarene de leter etter. Nå er vi snart kommet så langt at vi kan lage verktøy som forstår logikken i musikk. Vi trener maskinen til å identifisere toner automatisk. Musikken maskinen skal kunne klare å transkribere, er Nasjonalbibliotekets katalog med folkemusikk. Norsk folkemusikk, og særlig hardingfelemusikk, er vanskelig materie for maskinen. Den store mengden eksempler som trengs, var i utgangspunktet ikke tilgjengelig. Derfor har vi bedt musikere, den profesjonelle felespilleren Olav Luksengård Mjelva og noen studenter fra Norges musikkhøgskole, om å spille for oss, og designet en programvare hvor de kunne se lydene visuelt og plassere notene for oss. Vi bruker nå dette materialet til å lære maskinen hvordan den automatisk kan oppdage tonene hardingfela spiller. Neste trinn, der vi er nå, handler om å oppdage takt. Den er kompleks i felemusikk. Prosjektet tar også for seg et stort utvalg musikalske stilarter fra tradisjonsmusikk, klassisk musikk og populærmusikk, akustisk så vel som elektronisk, og fra ulike kulturer. Denne omfattende kartleggingen av musikkelementer ved hjelp av våre dataredskaper, blir også brukt til å utforske lytteres affektive og kroppslige musikk-relaterte opplevelser. Foruten forskningsfeltene musikkvitenskap, musikkteknologi og musikkognisjon, tar vårt prosjekt også sikte på å utvikle nye teknologier til bruk for allmennheten - som det å kunne generere videofiler fra en hvilken som helst type musikk. En utfordring ved musikklytting, er at den alltid avhenger av lytterens tidligere erfaring. Vi tror at automatisert, maskingenerert, interaktiv visualisering av lyd-data kan hjelpe lytteren til bedre å forstå og nyte den musikken vedkommende liker (eller ennå ikke liker). Dette vil kunne berike musikkopplevelsen og gjøre musikken mer tilgjengelig. Hvis vi kan gi folk verktøy for å forstå musikken bedre, gir vi dem samtidig tilgang til mye ny musikk. Det vil være bra for den enkelte, men også for musikken i seg selv, for mangfoldet i hele det musikalske økosystemet. Med appen som vi tar sikte på å utvikle, vil du kunne bla i katalogen av folkemusikk og dra på oppdagelsesreise i musikken. Når du finner en slått eller et stev du liker, kan appen peke deg i retning av noe i samme landskap. En av måtene du kan samhandle med musikken er ved å se den. Ser du et videoklipp, som spiller på flere sanser og setter i sving flere følelser, vil det hjelpe mange å forstå folkemusikken bedre. Vi jobber med å finne en god balanse mellom det å få nok detaljer til å forstå mer enn ved å kun lytte, og det å få for mange detaljer: noe vi tror vil ta konsentrasjonen bort fra musikken. Det kan til og med være en slags 'gamifisering': en interaktiv app hvor du starter med enkel visualisering, og når du mestrer og forstår hva som skjer, får du etter hvert en mer kompleks versjon. Den samme teknologien som vil bli til en app på smarttelefonen din, kan også brukes på scenen. Da Den danske strykekvartett fremførte Bachs "Die Kunst der Fuge" ved MusicLab-konserten i København i Oktober 2021, ble en video projisert på bakscenen som visualiserte musikken grafisk i sanntid mens den utspilte seg. Da de fire musikerne spilte gjennom temaene, kunne publikum se hvordan de forskjellige stemmene gjentok hvert tema. Hypotesen vår er at særlig utrente lyttere vil forstå mer om de også kan se hva som skjer. Temaene vises etter hverandre på skjermen, så når musikerne begynner en ny gjentakelse, så ser du sammenhengene. Ved en MusicLab-konsert I Oslo i November 2021, ble det vist en video i sanntid som gjenga den synestetiske opplevelsen til en gitarist som improviserte. Vi vurderer også å utvikle applikasjoner til bruk innen musikkterapi. Som en del av prosjektet ble det avholdt et to-dagers nett-basert symposium i Juni 2021 der det ble presentert pågående arbeider og der et større panel av inviterte Europeiske forskere innen komputasjonell musikkanalyse presenterte sine perspektiver. Videointervju: https://www.youtube.com/watch?v=B4LFjIBLFEI

MIRAGE aims at conceiving a ground-breaking AI system for music analysis that will generate a rich and detailed description of music along a large range of parametric and structural dimensions. This will enable musicologists to acquire a systematic and explicit understanding of music in a much deeper level than using traditional methods or previous state of the art in computational musicology. The scientific ambitions of MIRAGE is not solely related to the conception of AI and signal processing algorithms able to perform advanced operations of interest for musicology. It is also to establish a detailed and explicit answer to theoretical musicological problems, related to the formalization of music analysis. The rich description of music will also foster the enrichment of cognitive models predicting listeners’ percepts and reactions to music, for instance for the study of emotion in music. Moreover, music cognition needs to be understood as a complex system composed of highly interdependent modules. A computational system built on a set of general heuristics that is able to mimic music cognition on a large range of music would offer a valuable blueprint for the establishment of cognitive models. The software technologies developed in the project will also have a wider transformational impact on how tomorrow’s technologies will be used to understand and appreciate music. We will also apply these technologies for music therapy. The approach follows a transdisciplinary perspective, articulating traditional musicology, cognitive science, signal processing and artificial intelligence. This project in collaboration with the National Library of Norway, world leading in digitizing cultural heritage, will help developing further the field of Digital Humanities, which is under-developed in Norway.

Publikasjoner hentet fra Cristin

Budsjettformål:

IKTPLUSS-IKT og digital innovasjon