SAKULATOR - Innovasjonsprosjekt om utviklingen av kalkulator for estimering av saksbehandlingstider i Norges domstoler

The Office of the Auditor General's investigation of case processing time and efficiency in district courts and courts of appeal points out that a significant proportion of the courts do not reach the parliament’s target for case processing time. In order to meet demands for increased efficiency, Norwegian courts are undergoing a comprehensive digitization process that will initially include the Supreme Court, all six court of appeals and the largest district courts. As part of this work, the Court Administration is working with researchers from NORCE Social Sciences, the Department of comparative politics (UIB), and the Center on Experiential Legal Learning at the Faculty of Law (UIO) on the innovation project SAKULATOR. The purpose of the project has been to investigate and understand the factors that affect case processing time and court hearing times in criminal cases in the courts of appeal, as well as to develop a new digital tool for the judiciary to estimate case processing times for new cases. In the project, our aim has been to investigate how the case complexity affects case processing times. We examine two forms of case complexity, factual and legal. Factual complexity refers to the logistical and organizational characteristics of a case, such as the number of witnesses. Legal complexity refers to legal sources and facts, and the relationship between these. The results confirm that factual and legal case complexity increases the number of court hours and the number of appeal days in the courts. We further find that different forms of legal complexity affect different “steps” in the case process, and that different types of cases affect the case processing times in different degrees. The size and organization of the courts of appeal are also important for the connection between case complexity and case processing time. The analyzes contribute new knowledge that supports the work of reducing case processing time and helps to meet the requirement that a case must be decided within a reasonable time. Moreover, we have used machine learning algorithms to develop a computer-driven prediction model (called Sakulator) to estimate and explain case processing times and court hearing times in Norwegian courts. In practice, Sakulator is available in an interactive web application where users can easily enter relevant information about a case and get an estimate of how long such a case typically takes. By applying a knowledge-based prediction model, courts are able to get insight into the factors that affect case processing times. It may also become easier to have effective case management if the courts get a clearer picture of which and how these factors drive up case processing time. A key result in the work with the machine learning models, and the web application based on these, is that it is much more demanding to give satisfactory predictions of the number of appeal processing days (i.e., the days it takes from the case arrives to the court until it is completed) than for court hearing hours (i.e., the hours used for the court hearing when the parties and judges gather in the courtroom). The reason for this is that it is difficult to obtain data (in advance of the case) on key factors that often lead to postponements. This applies in particular to the work of framing the case. It is the task of a designated case worker to coordinate the many actors in a lawsuit, often in informal processes up to the appeal hearing. However, this work lacks proper system support. Thus, case workers often have to use local tools such as separate spreadsheets to keep track of available judges, lists of lawyers and available courtrooms. Access to data on available judges, lawyers and court rooms could probably help increase the algorithms' ability to give a satisfactory prediction also of the number of appeal processing days.

Kunnskapen generert gjennom prosjektet har bidratt til å synligjøre viktigheten av forskning på saksbehandlingstider i domstolene og på faktorene som bidrar til å drive saksbehandlingstider opp. FoU-aktivitetene i prosjektet har bidratt til faktabasert kunnskap om lagmannsrettenes mer tause og erfaringsbaserte kunnskap. En slik synliggjøring og konkretisering av faktorer som driver saksbehandlingstider er nyttige for både domstolene og domstoladministrasjonen i arbeidet med å effektivisere prosesser og redusere tidsbruk i domstolene. Betydningen og nytteverdien av webapplikasjonen må sees i lys av tilbakemeldingene vi har fått fra potensielle brukere i domstolene. Vi har gjennomført flere dialogmøter med dommere, domstolledere, berammere og saksbehandlere i tre av de seks lagmannsrettene for å få deres tilbakemelding på nytteverdien av webapplikasjonen. Generelt sett er tilbakemeldingene at webapplikasjonen ikke vil ha særlig nytteverdi i sin nåværende form. Derimot finnes det mange læringspunkter til videre utviklingsarbeid. Blant annet er det potensiale for at modellene utviklet i prosjektet egner seg bedre til å gi prediksjoner om andre sakstyper eller for andre brukergrupper, inkludert tingretter (fordi det er der sakene starter og det finnes mye mer data), dommerfullmektige/nyutnevnte dommere og ledere (som ikke har like mye erfaring med å anslå saksbehandlingstider), påtalemyndigheten (som selv må komme med et anslag for rettsmøtetimer), selvprosederende (som kan bruke applikasjonen i en vurdering av om de skal ta saken til domstolen eller ikke), eller for domstoler i andre land med høy saksbehandlingstid. Prosjektet bidratt til økt kompetanse i DA når det kommer til bruk av kunstig intelligens og iverksetting av maskinlæringsmodeller i utviklingsprosjekter. Vi har lært mye om hva slags data som finnes i Lovisa og hva som trengs for å kunne predikere saksbehandlingstider på en tilfredsstillende måte. Dette arbeidet kommer til å være viktig for DA videre arbeid for å effektivisere og digitalisere domstolene. Videre har prosjektet bidratt til å etablere viktige nettverk mellom DA og de tverrfaglige forskningsmiljøene som har inngående kompetanse på domstoler, samt med Legal Tech miljøet (CELL) og studentprogrammene i Oslo. Gjennom prosjektet har det blitt identifisert både behov og idéer til fremtidige forskningssøknader og prosjekter. Prosjektet har også stimulert til videre forskning på bruken av kunstig intelligens i domstoler. Ved NORCE har forskere fått midler for en intern tverrfaglig satsning - eXplainable AI (XAI) in court case analysis – hvor samfunnsvitere og teknologer ved Norce samarbeider om å videreutvikle Sakulator-algoritmene slik at bakgrunnen for prediksjonene («hvorfor predikerer modellen at saken tar 15 timer»?) blir transparent for forskerne og brukerne.

En økende mengde komplekse saker har økt saksbehandlingstiden i flere av Norges domstoler. For å imøtekomme krav om økt effektivitet går domstolene idag gjennom en omfattende digitaliseringsprosess. Som et ledd i digitaliseringen tar SAKULATOR sikte på å utvikle en datadrevet prediksjonsmodell (Sakulator) for estimering av saksbehandlingstider i domstolene. Sakulator vil (1) bistå dommere i den krevende oppgaven det er å anslå saksbehandlingstider i komplekse saker, og (2) synliggjøre hvilke faktorer som driver saksbehandlingstider opp, og på den måten være et viktig styringsverktøy for dommere i deres arbeid med å planlegge og beramme saker. Sentrale FoU-utfordringer: 1. Generere datasett: Domstolene bruker idag saksbehandlingsverktøyet Lovisa for å registrere informasjon om sakene til behandling. En sentral utfordring er å bearbeide og organisere informasjonen fra Lovisa slik at det kan brukes i Sakulator. 2. Modellutvikling: Målet med Sakulator er å predikere det ukjente (saksbehandlingstid) fra det kjente (saksegenskaper og saksbehandlingsprosesser). En sentral utfordring i prosjektet er å utvikle en modell som fanger opp kompleksiteten i sakene og gir realistiske estimater på saksbehandlingstider. 3. Realisering: En sentral FoU-utfordring å overføre modellen som ligger til grunn for Sakulator til en brukervennlig web-applikasjon som forenkler og effektiviserer hverdagen til brukerne. For domstolene vil det å anvende en kunnskapsbasert prediksjonsmodell synliggjøre hvilke faktorer som påvirker saksbehandlingstider. For dommerne vil det være enklere å ha en effektiv saksstyring dersom de får et tydeligere bilde på hvilke og hvordan disse faktorene driver saksbehandlingstiden opp. Sakulator vil også være et nyttig verktøy i berammingen av saker og i diskusjonen om ressursfordeling mellom domstoler. På sikt vil kalkulatoren kunne skape forutsigbarhet for eksterne aktører, samt innsikt i hvordan de kan bidra til å overholde mål for saksbehandlingstider.