Towards detecting AI-generated disinformation: Fakespeak in the age of large language models

Desinformasjon og falske nyheter, og de konsekvensene slikt kan få for folks tillit til eksempelvis valgsystemet, har blitt erklært av blant annet EU, NATO og FN som en av de største truslene mot demokratiet i vår tid, ikke minst i kjølvannet av den enorme utviklingen innen generativ KI. På denne bakgrunnen har vi et akutt behov for følgende: 1) kunnskap om hvordan neste generasjons desinformasjon og påvirkningsoperasjoner kan se ut, og 2) et kunnskapsgrunnlag for å utvikle verktøy som kan identifisere slik desinformasjon. Målet med NxtGenFake er å fylle disse kunnskapshullene. I NxtGenFake vil således lingvister og medievitere ved UiO (hhv. ILOS og IMK) og informatikere på SINTEF samarbeide ved først å ta utgangspunkt i et utvalg villedende narrativer, som vi kaller 'desinformasjonsnarrativer', hentet fra internettkilder på engelsk, norsk og russisk. Basert på blant annet analyser der vi sammenligner disse narrativene med datasettene av genuine nyheter fra Fakespeak-prosjektet, vil vi teste ulike metoder for å få et utvalg store språkmodeller til å generere tekster som reflekterer desinformasjonsnarrativer på alle tre språkene. Ved bruk av kvantitative og kvalitative metoder vil medieviterne undersøke narrativene blant annet i lys av deres innhold og diskursive trekk, og lingvistene vil se nærmere på deres grammatiske, stilistiske og pragmatiske egenskaper. Basert på resultatene vil så informatikerne gjøre systematiske vurderinger av hvordan store språkmodeller kan påvirke hvor overbevisende desinformasjon oppfattes å være. På den måten vil vi kunne vise interessentene våre hvordan fremtidens desinformasjonskampanjer kan se ut, og dermed gjøre dem i stand til å forberede seg og sette i verk tiltak for å øke samfunnets motstandskraft mot slike operasjoner. Til slutt vil informatikerne jobbe mot å utvikle innovative verktøy som kan identifisere mistenkelig KI-generert tekstlig innhold som kan være del av statlige eller ikke-statlige påvirkningsoperasjoner.

The EU, NATO and UN in addition to 1500 experts consulted by the World Economic Forum perceive disinformation and fake news, and the subsequent erosion of trust in newly elected governments, as one of the biggest current threats to democracy. This is so not least due to the rapid development of generative AI. Thus, pressing knowledge needs are 1) forecasts about the next-generation disinformation and influence operations and 2) a basis for the development of tools to identify and warn about such disinformation. To fill these knowledge gaps is the objective of NxtGenFake. Thus, in NxtGenFake, linguists, media scientists and computer scientists will collaborate, taking as our point of departure a selection of mainly Russian state disinformation narratives gleaned from a selection of online sources in English, Norwegian and Russian. Based on an abstraction of these narratives and analyses comparing them with the datasets of genuine news from the Fakespeak project we will test various methods for prompting a selection of large language models (LLMs) to generate texts reflecting disinformation narratives in all three languages. Applying quantitative and qualitative methods, our media scientists will examine the disinformation narratives in view of, i.a., their content and discursive features, and our linguists will investigate their grammatical, stylistic and pragmatic features. Based on the results our computer scientists will conduct systematic assessments of how LLMs may increase the persuasiveness of disinformation, thereby demonstrating to our stakeholders what future disinformation campaigns may look like, enabling them to prepare and take measures to strengthen societal resilience against such operations. In a final step the computer scientists will work towards the development of cutting-edge tools that can warn relevant authorities of suspicious AI-generated textual content that may be part of state or non-state influence operations and disinformation campaigns.