Tilbake til søkeresultatene

FINNUT-Forskning og innovasjon i utdanningssektoren

Embracing Heterogeneity in International Surveys: Optimal Test Design and Parameter Estimation

Alternativ tittel: Heterogenitet i Internasjonale Undersøkelser: Optimal Test Design og Parameterestimering

Tildelt: kr 11,0 mill.

Prosjektnummer:

255246

Søknadstype:

Prosjektperiode:

2016 - 2022

Geografi:

Samarbeidsland:

Historisk har Norge vært en aktiv deltaker i internasjonale vurderinger som Program for International Student Assessment (PISA). Og resultatene for Norge har variert avhengig av type vurdering og deltakelsesår; Imidlertid har mye oppmerksomhet i media, publikum og beslutningstakere fokusert på PISA-ytelse. Selv om PISA er et nyttig verktøy for å overvåke utdanningens prestasjoner og fremgang, antar dagens metoder at et enkelt spørsmål er universelt egnet for dusinvis av svært varierte deltakerland. Med andre ord, uavhengig av kulturell bakgrunn, antas det at alle forstår og svarer på spørsmål på samme måte. Men avvik fra denne antagelsen har viktige konsekvenser for resultatene og rangeringene. Hittil har det blitt foreslått ulike tiltak, inkludert modell- og designbaserte løsninger. I dette prosjektet utviklet vi, integrerte og videreforedlet flere metoder som skulle forbedre nøyaktigheten av prestasjonsestimater. Spesielt testet vi og utviklet metoder som inkorporerer (i stedet for å ignorere) land- eller regionspesifikke faktorer i testdesignet og prestasjonsestimater for å gi mer nøyaktige score. Utvikling baserte seg på simulerte data, med støtte fra empiriske eksempler. For å gjøre dette utviklet vi en åpen kildekode-programvarepakke (lsasim) for R-miljøet, den andre versjonen av den er nylig utgitt. Ved å bruke simulerte data opererte vi effektivt i en eksperimentell laboratorielignende setting der den 'sanne' tilstanden til fagene er kjent. Vi blir validert våre innovasjoner gjennom simulerte og eksisterende empiriske data for å teste i hvilken grad våre løsninger fungerte i praksis. Våre funn peker så langt på svakheter i metodene for nåværende estimater for oppnåelse og for deteksjon av avvik fra vanlige forutsetninger, spesielt for land med lav ytelse. I tillegg la vi til en anvendt målekomponent i dette prosjektet. For å oppnå dette undersøkte vi utførelsen av internasjonale vurderingstiltak på tvers av land. Dette aspektet støttet hovedmålene for prosjektet ved å bidra til å synliggjøre flere utfordringer og mulige metodiske løsninger. Internasjonal formidling inkluderte publisering av artikler i internasjonale fagfellevurderte tidsskrifter av høy kvalitet, presentasjoner på internasjonale konferanser, interne seminarer og en åpen vitenskapelig filosofi (github.com/embracingheterogeneity) og prosjektnettsted (embracingheterogeneity.com). Vi er også utdannet nåværende og fremtidige forskere, inkludert en doktorgradskandidat og en post-doktorgradsforsker. Postdoktoren flyttet til en ny forskerstilling i Tyskland i 2019, og vår doktorgradsstudent forsvarte sin avhandling i 2015. Han tiltrer en forskerstilling i Storbritannia i mai. Som en del av dette arbeidet har vi også veiledet fem besøkende forskere, inkludert tre fra Kina og to fra Tyskland.

Based on the results of this project, we have placed one PhD student and one post-doctoral researcher at research organizations. Importantly, our PhD student is a native of Malawi and is one of just a small number of professionals from the African continent with training and qualifications in psychometrics. The research from this project also influenced the practices international assessment, to include the rapid shift to a computerized adaptive test environment, an improvement in the speed of reporting the technical reports, and research-based investigations into methods for improving the detection of measurement invariance violations. Publications from this project have been cited a total of 101 times, according to a 4 March 2021 search on Google Scholar.

Historically, Norway has been an active participant in international comparative assessments of math, science, and reading. And results for Norway have varied depending on the type of assessment and year of participation; however, a great deal of media, public, and policy maker attention has focused on PISA. Although PISA, as one example, is a useful tool for monitoring educational performance and progress, current methods assume that a single set of questions is universally suitable for dozens of highly varied participating countries. But departures from this assumption have important consequences for achievement results and rankings. Disparate remedies have been proposed, including model-based and design-based solutions. In this project we develop, integrate, and further refine several methods intended to improve achievement estimates, educational stakeholders with a more accurate picture of achievement in Norway and internationally. In particular, we develop methods that incorporate (rather than ignore) country- or region-specific factors into the test design and achievement estimates to produce more accurate scores. Because we cannot compel countries to participate in this study, development will rely primarily on simulated data that closely follows empirical parameters. By using simulated data, the parameters of which we fully control, we can effectively operate in an experimental laboratory-like setting where the 'true' state of the subjects is known. Our innovations will be validated through simulated and existing empirical data to test the degree to which our solutions work in practice. Although we will be using PISA as our test case, findings extend to any assessment that employs similar designs. This project will place Norway on the cutting edge of international assessment research and provide Norwegian educational stakeholders with a more accurate picture of achievement to better assess their standing in the global knowledge economy.

Publikasjoner hentet fra Cristin

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Budsjettformål:

FINNUT-Forskning og innovasjon i utdanningssektoren

Finansieringskilder