Towards robust Large Language Models for agent-based systems

Spredning av feilinformasjon og desinformasjon utgjør en trussel mot demokratier, og fører til samfunnsmessige splittelser og påvirker politiske og offentlige prosesser verden over. Utfordringen oppstår som følge av utilsiktede feil fra innholdsprodusenter og AI-generert innhold, samt bevisst manipulering ved bruk av AI. I dette prosjektet vil vi fokusere på faktualitet i store språkmodeller (LLMs) som et resultat av agentbaserte systemer. LLMs gir betydelige muligheter, men kan produsere feil som kan ha juridiske og økonomiske konsekvenser. LLMs brukes i agentbaserte systemer for selvkjørende oppgaver, menneskelignende interaksjoner og beslutningstaking. Agenter drevet av LLMs kan forstå og generere menneskelig språk, noe som muliggjør komplekse interaksjoner som å avtale møter og feilsøke problemer. Som et eksempel på ovenstående har man filmen Her og interaksjonene hovedpersonene har med forskjellige agenter gjennom deres daglige liv. Nøyaktigheten og påliteligheten til disse agentbaserte systemene er imidlertid direkte knyttet til ytelsen til de underliggende LLM-ene. Til tross for bruk av sofistikert teknologi, kan LLMs fortsatt produsere feilaktig eller inkonsekvent informasjon, noe som kan redusere effektiviteten til det agentbaserte systemet.

Dissemination of misinformation and disinformation poses a democratic threat and a major hurdle, leading to societal divisions and impacting political and public environments worldwide. This issue arises from unintentional mistakes by content creators and AI-generated content, as well as deliberate manipulation using AI. In this project we will focus on factuality in Large Language Models (LLMs) in the light of the agent-based systems. LLMs have advanced capabilities but can produce errors leading to legal and financial consequences. LLMs are used in agent-based systems for autonomous tasks, human-like interactions, and decision-making. Agents powered by LLMs can understand and generate human language, enabling complex interactions like scheduling appointments and troubleshooting. Think of the movie Her and the interactions main characters have with different agents throughout their daily lives. However, the accuracy and reliability of these agent-based systems are directly tied to the performance of the underlying LLMs. Despite their advanced capabilities, LLMs can still produce incorrect or inconsistent information, which can compromise the effectiveness of the agent-based system. This vulnerability can manifest in various ways, and the damage could be irreversible. In conclusion, while LLM agent-based systems offer significant advancements in automating tasks and interactions, their susceptibility to errors necessitates robust measures to ensure accuracy and reliability. By addressing these vulnerabilities, we can harness the full potential of LLM agents while minimizing the risks associated with their deployment.