Practices of data use in municipalities and schools

I PraDa har vi studert bruk av elevresultater i norske skoler og kommuner. I løpet av det siste tiåret har det vært en økning i tilgjengelig informasjon for kommuner, skoleledere og lærere i forhold til elevresultater, men kunnskap om hvordan slike data brukes er begrenset. I prosjektet har vi studert et trinn med elever (og dermed også deres lærere, rektorer og skoleeiere) i tre ungdomsskoler i tre forskjellige kommuner (med ulike kvalitetsvurderingssystemer) over tre år. Vi har observert møter, gjennomført intervjuer og dokumentanalyser. Vi har funnet hvordan nasjonale prøver har resultert i nye organisasjonsrutiner som "resultatmøter" mellom skoleledere og lærere, og også mellom skoler og mellom rektorer i en kommune. Når vi skal oppsummere funnene fra den kvalitative studien vår, ser vi at bruk av elevresultater på skolenivået inkluderer ulike dimensjoner, nemlig (1) integrasjon av kunnskapskilder, og det vi kan beskrive som en kunnskapsdimensjon, (2) bruk av likhetsfremmende strategier og forenklingsstrategier fra skoleledernes side for å komme i posisjon til å drive utviklingsarbeid, som kan betegnes som en relasjonell dimensjon, og (3) forhandling mellom ulike verdier, som kan sies å handle om en verdidimensjon. Disse dimensjonene henger tett sammen og fremstår som viktige for å forstå prosessene rundt bruk av elevresultater i skolen. Dersom vi beveger oss fra skolenivået til kommunenivået, karakteriseres dette nivået med kommunale lederne som har utviklet ulike målhierarkier og styringsstiler. Dette betyr blant annet at de i samsvar med kommunenes målsettinger varierer i syn på hva læringsutbytte handler om (om dette skal forstås i bred eller smal forstand) og i hvordan de legger opp arbeidet med å påvirke skolelederne (om de i større grad legger vekt på dialog for utvikling eller kontroll av resultat). Variasjonene i målhierarkier og styringsstiler reflekterer kommunal variasjon, lokale kvalitetsvurderingssystemer og personlige mål og verdier, samt hvordan de tenker rundt sin egen rolle og hvordan de kan påvirke arbeidet til ledere og lærere i skolen. Fra den kvantitative undersøkelsen blant lærere, skoleledere og skolefaglig ansvarlige i kommunen har vi sett at det avtegner seg ulike profiler i aktørenes bruk av elevresultater og andre typer kunnskapskilder for å vurdere arbeidet i skolen. For skolelederne utpeker resultater fra nasjonale prøver og Elevundersøkelsen seg som de viktigste informasjonskildene for å vurdere skolens arbeid. Disse kildene er også viktige for de kommunale lederne, som i tillegg vurderer brukerundersøkelser blant foresatte som viktigere enn skolelederne. Lærerne bruker resultater fra nasjonale prøver i mindre grad enn skolelederne og de kommunale lederne. Selv om lærere oppfatter nasjonale prøver som en viktig retningsviser, tar de heller i bruk en rekke informative kilder som er nærmere knyttet til lærernes praksis og som naturlig nok gir dem mulighet til tettere oppfølging av elevene. Profilene knytter seg også til syn på hvilke aktører det er viktig for lærere, skoleledere og skolefaglig ansvarlige å få tilbakemelding fra. Det kan dermed se ut til at resultater fra nasjonale prøver har en viktig funksjon på systemnivå ved å gi informasjon om elevenes kompetanse på den enkelte skole og samlet i kommunen. Dette understøttes av skoleledernes svar på hvordan de bruker resultater fra nasjonale prøver, som til dels handler om å bruke resultatene for ulike formål på egen skole (følge med på skolens resultatutvikling over tid, legge strategier for utviklingsarbeid, evaluere læreres arbeid og prioritere områder for videreutdanning) og til dels handler det om å sammenlikne resultater fra egen skole med det nasjonale gjennomsnittet og med resultatene til andre skoler i kommunen. Selv om det er viktige forskjeller i hvordan elevresultater tas i bruk i kommuner og skoler, spesielt med tanke på ulike kvalitetsvurderingssystemer, er noe av det interessante som vi finner i studien vår knyttet til hva som ser likt ut på tvers av kommuner og skoler. Oppsummert kan vi si at forskjellene er størst på kommunenivå, mindre på skoleledernivå og minst på lærernivået. Særlig ser vi dette i resultatmøtene mellom ledere og lærere, som viser hvorfor observasjoner av de konkrete praksisene der resultatene tas i bruk, er viktig for å forstå bruken. Variasjonen er tydeligst mellom de kommunalt ansvarlige enn hos skolelederne og mer tydelig hos skolelederne enn hos lærerne, mens praksisene på mikronivået kjennetegnes av en faglig-profesjonell logikk. Vi kan samtidig si at praksisene kjennetegnes ved å være hybride og at aktørene kjennetegnes av et ønske om å ta kontroll over hva resultatene og bruken av dem skal bety for dem. Vi finner for eksempel også liten grad av prinsipiell avvisning av prøvene. Sett i sammenheng med review av internasjonale studier viser også betydningen av å bygge opp en kritisk masse av studier utført i en skandinavisk sammenheng for videreutvikling av forskningsfeltet.

This project proposal is for the Young Researcher Grant and addresses issues under priority area C; it also contributes to areas A and B. The project will explore practices of data use in municipalities and schools. During the last decade, although there has been an increase in information available for local authorities, school leaders, and teachers in terms of student performance, knowledge about how data are used is scarce. Practices of data use will be investigated in terms of what happens when indivi duals interact with two assessment tools: national testing and grading. The first tool represents a new innovation, while the second is a more traditional mode of assessment. From a governance perspective, the first represents a way for national authoriti es to coordinate actions and activities; as such, it has a stronger accountability logic. Even though there is a growing interest in the study of data use internationally, only limited research has been carried out on data use at different organizational levels; equally, theories of organizational development that might suggest possible pathways between practices of data use and student outcomes have not been developed. Such investigations will be made possible through a multi-methodological and longitudi nal design, where a cohort of students (and thereby their teachers, principals, and local authorities) in three lower secondary schools in different municipalities are followed from levels 8 to 10. Two surveys and qualitative studies (observations of meet ings, interviews, and documents) will be conducted. Municipalities with different characteristics in terms of quality assurance systems will be cases that merit closer investigation. The surveys will be conducted in a third of the municipalities of Norway , also using data that are already available on student performance. This research will develop new knowledge of national and international significance in the field of data use and educational accountability.