Measuring competence development in vocational education and training (MECVET)

Bakgrunn. Kompetansebaserte læreplaner og opplæringsmodeller har endret fag og yrkesopplæringen på flere områder, i Norge som i andre land: Undervisning, læringsforløp og forskning rundt vurdering og læring. Blant viktige initiativ er utvikling av nye verktøy for internasjonale sammenlikninger av elevers og lærlingers kompetanse og kompetanseutvikling. Tre tilnærminger har stått sentralt på dette feltet de siste årene. En er å identifisere kompetanser i fag- og yrkesopplæringen på grunnlag av jobbkrav og spesifikke arbeidsoppgaver. Den andre strategien er representert ved et internasjonalt initiativ (der også Norge deltok) som skulle utvikle en såkalt PISA for fag- og yrkesopplæringen (VET-LSA). Denne tilnærmingen kombinerte målingen av spesifikke yrkeskompetanser og generiske ferdigheter i jobben slik som sosial kompetanse. Forsøket feilet p.g.a. testoppgavenes manglende relevans. Prosjektet «Measuring competence development in vocational education and training» (MECVET) bygger på en tredje tilnærming til storskalavurdering som er utviklet i Tyskland (Universitetet i Bremen) under akronymet KOMET. Denne modellen tar sikte på å måle helhetlige yrkeskompetanser, og testkonstruksjonen her avviker sterkt fra de ovennevnte tilnærminger. Mens de første setter sammen yrkesprofiler fra en internasjonal database, innebærer KOMET-plattformen at det organiseres work-shops (ekspertverksteder) og prosjektgrupper med faglige eksperter som definerer yrkets kjerneoppgaver. Disse er utgangspunkt for utvikling av åpne skriftlige testoppgaver som besvares av elever/lærlinger og bedømmes skjønnsmessig av faglige eksperter ut fra gitte kriterier - en logikk for storskalavurdering som gjenfinnes i OECD-prototyper som AHELO (generiske ferdigheter høyere utdanning) og PIAAC (voksnes kompetanse). MECVET gjennomføres som en longitudinell utprøving av KOMET-plattformen på elever 2. året skole (N=150) og lærlinger etter 1. året bedrift (N=150) og 2. året bedrift (N=150). Fagene er industrimekanikere, elektrikere og helsefagarbeidere. Tilsvarende undersøkelser foregår i Tyskland, Kina og Sør-Afrika. Resultater/erfaringer med MECVET (5 års oversikt) o Utviklingen av åpne testoppgaver med case tilsvarende kjerneoppgaver i fagene kunne i begrenset grad oversettes fra de tyske versjonene slik det ble gjort i Kina og Sør-Afrika. Særlig gjaldt dette i de tekniske fagene der revisjoner ble gjort i samarbeid med faglige eksperter. o Sammenlignet med erfaringer/resultater fra Tyskland er variasjonen i testbetingelser og elevprestasjoner større i den norske utprøvingen, noe som igjen kan tilskrives graden av frivillighet, standardisering av testbetingelser og administrasjon av testene. o De komparative dataene viser at de norske lærlingene i industrimekaniker- og elektrikerfagene skårer lavere på yrkeskompetanse enn tilsvarende tyske grupper - særlig i forståelsen av arbeidsprosesser, gjenbruk/miljøhensyn, helse/miljø/sikkerhet, utviklingsmuligheter i jobben. For teknisk-faglig forståelse var forskjellene mindre. o I industrimekaniker- og helsefagarbeiderfaget er det en klar framgang i yrkeskompetanse fra 1. år til 2. år som lærling. Tilsvarende utvikling finner ikke sted for elektrikerlærlingene. Framgangen for de to andre fagene henger nøye sammen med rapportert kvalitet på opplæringen i bedrift og tilbudet fra opplæringskontorene. Denne tendensen synes kraftigere for de norske resultatene sammenlignet med tilsvarende tyske (og kinesiske) resultater. o Skårene for yrkeskompetanse på KOMET-testen reflekterer i stor grad forskjeller i skriftlige ferdigheter (såkalt generisk kompetanse) noe som reiser tvil om gyldigheten av slike tester for kartlegging av yrkeskompetanse. MECVET-resultatene tyder også på at disse sammenhengene varierer sterkt fra fag til fag. o MECVET-prosjektet fikk et tilleggsprosjekt gjennom UTFORSK-programmet der målet var å utvikle felles elementer om vurdering av yrkeskompetanse i masterstudiene i Sør-Afrika og Norge Formidlingsaktiviteter. I MECVET-prosjektet har formidlingsaktivitetene foregått på hovedsakelig tre arenaer: Kollegial formidling i Norge, kollegial formidling internasjonalt og formidling overfor interessenter i skole og arbeidsliv.

Competence-based education has become a favourite model for innovations in VET and stimulated research on assessment for learning. Efforts have also been made to construct tools for large scale assessment - along three main lines. One is to identify compe tencies on the basis of job requirements and specific work tasks. The second strategy is represented by a German initiative to develop a so called PISA-VET or VET-LSA that combined the previous one with an attempt to measure cross-occupational competenci es like social skills. A third alternative is to be found in the COMET-model which is a platform for competence diagnostics that underlines the need for a comprehensive (holistic) measurement instrument in the field of VET. The COMET and the VET-LSA-proje cts differ in terms of principles for test construction. Whereas the later selects samples of pre-defined occupational tasks from a database, the procedure in the COMET-project is to construct a limited set of multidimensional tasks for each occupations in workshops. The output is open task assignments and a set-up for rating based on judgmental consensus and criterion-related guidance - a logic also to be found in recent OECD prototypes like AHELO (higher education generic skills) and PIAAC (adult comp etencies). In the MECVET we will address the methodological challenges associated with prototyping a measurement tool for competence development that builds on the COMET-model and introduce methods for validating both the problem solving strategies of tra inees and the judgments of the raters. Our study will have a cross over longitudinal design over the 2., 3. and 4. year in VET and the learning trajectories of the students/trainees will be compared with questionnaire data on background factors, vocation al commitment, school environment, and the work place as learning environment.