Back to search

INNOFFARENA-Innovasjonsarena for stat og kommune

ADAPTVURDER - Adaptive vurderingsverktøy for bedre læring

Alternative title: Adaptive assessment tools in reading and numeracy for primary school

Awarded: NOK 6.9 mill.

Adaptvurder - Adaptive assessment for better learning Adaptvurder was a project that started in 2018 and ended in 2023. The goal of the project was to develop adaptive digital assessment tools in reading and mathematics for third grade, based on the teachers’ and students’ needs. The project aimed to provide a precise picture of the skills of individual students, that could also serve as a basis for action and decision-making in the school sector. The tool was intended to provide a new and more nuanced picture of skills at both the individual and group levels and thus be a basis for early intervention and differentiated instruction. Today, all students take screening tests in third grade, but teachers only receive information about students who fall around and below the cut-off. The intention behind the new assessment tool was that after conducting the national screening tests in August, teachers could let students take an adaptive test half a year later to assess the individual and group reading and arithmetic skills. The goal of this was to provide teachers and schools with a tool to follow up all students and to be able to differentiate instruction. Adaptvurder would be a supplement to the teacher’s toolbox to identify students at risk of falling behind in reading and mathematics, who need intensive instruction. The tests could also have served as a tool to adapt instruction to students with high learning potential. The test experience would be differentiated so that each student takes a test tailored to their level. In an adaptive test, students who perform poorly and moderately would master more tasks and therefore get a better test experience. The project has developed item banks for adaptive tests in reading and mathematics that are ready to be used. The project has also developed result reports in collaboration with teachers, but the tool requires good technological solutions – currently not in place - for result reporting to function optimally. It still requires testing and more technological development and exploration of the field to implement adaptive assessment tools operationally. Recent technological development makes it necessary to continue such exploration and testing. Continuing to develop and conduct purely linear tests after seeing the possibilities of utilizing technology to differentiate and adapt reading assessments seems inadequate, while more research is required in adaptive tests in mathematics to conclude whether adaptive tests are the way to go. The project group was composed of researchers from the Reading Centre in Stavanger and the Mathematics Center in Trondheim, and the technology provider Inspera. In addition, several large municipalities were represented. Oslo municipality was the project owner.

Selv om prosjektet ikke endte med en operativ prøve, forventes resultatene å ha stor betydning både for forskningsfeltet og skolesektoren, i det de kan være med å gi innspill til og legge grunnlag for fremtidig utvikling av prøver og adaptive digitale læringsressurser. Den samfunnsmessige utviklingen mens prosjektet har pågått tilsier at slike ressurser vil bli mer og mer vanlige - og innsikter fra prosjektet kan belyse ulike utfordringer og muligheter med dem. Eksempler på innsikter fra prosjektresultatene kan være: - Til tross for tekniske problemer har den adaptive motoren fungert slik at elevene har fått oppgaver tilpasset ferdighetsnivå. Samtidig viser analyser fra Matematikksenteret at de lavtpresterende elevene fikk lavere løsningsprosent enn de høytpresterende elevene, på tross av at den adaptive algoritmen i utgangspunktet skulle sørge for at alle elevene fikk tilnærmet lik løsningsprosent. Analysene viser at disse problemene ikke kan knyttes til mangler i oppgavebanken. Matematikksenterets tolkning er derfor at dette skyldes utfordringer med den tekniske løsningen. Å forske videre på eventuelle sammenhenger mellom ferdighetsnivå og gjennomsnittlig løsningsprosent i framtidige adaptive prøver vil være av stor interesse, siden det har stor betydning for nytteverdien av og troverdigheten til adaptive prøver. - Analysen av leseforståelsesprøven viste at oppgaver som hørte til skjønnlitterære tekster og som krevde tolkning diskriminerte dårlig i forhold til oppgaver som hørte til sakprosatekster. En kvalitativ oppfølgingsundersøkelse av disse oppgavene viste at elevene noen ganger svarte raskt og tilfeldig på slike oppgaver. Dette gir nyttig informasjon om hvilke affordanser digitale, individuelle verktøy har for et så ungt publikum, og bør utforskes videre for å finne ut hvordan en kan inkludere skjønnlitteratur i slike verktøy på en god måte. Resultatrapportskissene som er utviklet for å styrke nytteverdien av adaptive prøver er verdifulle både med tanke på framtidige adaptive og lineære prøver. Utviklingen og testingen av oppgaveformat i Adaptvurder vil også få nytte videre. Ordlesingsformatet som er utviklet i leseprøven har allerede blitt tatt i bruk i kartleggingsprøvene Lesesenteret utvikler for UDIR, og fått stor virkning gjennom det. Prosjektet har også bidratt sterkt til kompetanseheving i deltakerorganisasjonene. Matematikksenteret og Lesesenteret har fått sin første erfaring med adaptive prøver, og alt det innebærer utover “vanlig”, lineær prøveutvikling. For skoleeier betyr resultatene at vi ikke vil kunne gå tilbake til lineære prøver i fremtidig utvikling av kvantitative prøver i vår prøveportefølje. Nytteverdien er å ha innsikt i mulighetene for å kunne differensiere og tilpasse digitale prøver for å møte ulike elevgruppers behov.

Tidlig innsats og bedre tilpasset opplæring er sterke politiske ambisjoner. Nye politiske føringer forsterker kommunenes plikt til å gi alle elever gode grunnleggende ferdigheter tidlig i opplæringsløpet. Utdanningstaten i Oslo har over tid erfart behov for bedre kartleggingsverktøy for å få et riktigere bilde av elevenes nivå i de grunnleggende ferdighetene lesing og regning enn det dagens kartleggingsprøver (1.- 3.trinn) gir. Dagens verktøy er utdaterte, preges av slitasje og blir gjenstand for feil bruk i skolen. Prøvene gir informasjon om de tyve prosent svakeste elevene, men ingen detaljert informasjon om hva de sliter med. Faktisk sier prøvene sier ingenting om de resterende 80% av elevene. Manglene fører til at skolen har behov for verktøy som gir både et presist bilde av elevenes utfordringer og derved grunnlag for tidlig innsats i skolen og bidrar til at skoleeier kan sette i verk tiltak og innsatser. Adaptive prøver gir detaljert og presis informasjon og vil derfor kunne ha stor verdi for elever, lærere, skoleledere, skoleeier og har potensial til å bli neste generasjons vurderingsverktøy i norsk skole. ADAPTVURDER er et trepartssamarbeid mellom Lesesenteret, Matematikksenteret og Oslo kommune, som er prosjektansvarlig og leder prosjektet. Trondheim, Stavanger, Drammen og Bærum kommuner inngår i en samarbeidende gruppe der også lærere og skoleledere deltar. Julius Kristjan Bjørnson er faglig veileder. Prosjektet vil utvikle adaptive vurderingsverktøy i lesing og regning for 3.trinn for å undersøke hvordan adaptive prøver, som vil kunne gi presis informasjonen om ulike elevgruppers grunnleggende ferdigheter, kan optimaliseres for å sikre; høy presisjon, brukervennlighet, og gi lærere og skoleledere et solid handlingsgrunnlag. For å realisere verdiskapingspotensialet og presentere verktøyet i skolesektoren nasjonalt opprettes et nettverk av skoleeiere i andre storkommuner som vil kunne arbeide sammen på lang sikt om ulike modeller for kvalitetsutvikling.

Funding scheme:

INNOFFARENA-Innovasjonsarena for stat og kommune