Conversation Analytic innovation for Teacher Education (CAiTE). Research-based training for enhancing assessment and feedback quality

Hvordan kan vi trene lærere til å skape gode vurderingssamtaler? CAiTEs mål (Conversation Analytic innovation for Teacher Education) var å styrke kvaliteten på lærerutdanningen og forbedre læreres vurderingspraksiser ved å utvikle, evaluere og implementere en ny forskningsbasert instruksjonsmetode (CARM - Conversation Analytic Role-play Method) for å trene lærerstudentenes samtalekompetanse. Basert på videoanalyser av muntlig eksamen og lærers veiledning av gruppearbeid i klasserommet, har prosjektet utviklet, pilotert, gjennomført og evaluert et CARM-verksted for lærerstudenter. CAiTE har gitt betydelig forskningsbasert innsikt i læreres undervisning- og vurderingspraksis, både i måten lærere støtter elevenes læring i klasserommet, og hvordan muntlig eksamen gjennomføres. Spesielt har forskningen kartlagt de kommunikative praksisene som gir umiddelbar støtte til elevene. Prosjektet har for første gang vist hvordan lærere og sensorer omsetter retningslinjer for muntlig eksamen til praksis, og hvordan spesifikke måter å stille spørsmål på i muntlige eksamener påvirker elevenes mulighet til å vise forståelse og kunnskap. CAiTE har bidratt til en utvidet forståelse av hvordan stor variasjon i praksis kan få betydning for elevene. Funnene viste at det fins svært begrenset med retningslinjer og råd for vurderingssamtaler. Av det materialet som ble undersøkt (offisiell veiledning publisert på nett og lærebøker for lærerutdanning) var anbefalinger og råd i stor grad basert på personlig erfaring, teori eller anekdoter, snarere enn basert på det som skjer i klasserommene. Resultatene bidro til å legitimere CAiTEs formål, som var å undersøke reell lærerpraksis for å se hvordan de passer med retningslinjer, for så å gi opplæring og kommunikasjonsråd basert på forskningsresultater. De empiriske analysene viste at det er betydelig variasjon i tid brukt på de ulike delene av muntlig eksamen. Muntlig eksamen består av fem aktivitetsfaser som er klart strukturert. Det er stor variasjon i hvor mye tid som brukes på de ulike fasene. Det er også variasjon i hvor stor del av læreplanen som dekkes i løpet av elevpresentasjon og fagsamtale. Det er betydelig variasjon i antall spørsmål som stilles og temaer som dekkes i fagsamtalene mellom eksaminatorer og kandidater. Fagsamtalen er en sterkt asymmetrisk samtalesjanger der elevens handlingsrom er svært begrenset. Eksaminators utforming av spørsmål legger føringer for hva kandidatene har mulighet til å svare. Eksaminatorenes åpne-, ledende- og multiple spørsmål under muntlig eksamen legger sterke føringer for hva det er mulig å svare, og disse spørsmålene kan virke både stillasebyggende og hemmende for kandidatenes muligheter til å vise kompetanse. Noen ganger gir kandidater et svar som markers som feil. Da korrigerer eksaminatorene kandidaten og kommer med riktig svar for dem, eller så forsøker de å få kandidaten til å korrigere seg selv ved å initiere reparasjon på mer eller mindre direkte måter. Det gir kandidaten ny mulighet til å svare riktig, men leder ofte til lange side-sekvenser hvor kandidaten ikke nødvendigvis får vist så mye kunnskap. Karakterdiskusjonene er sterkt konsensusorienterte og har et høyt nivå av enighet. Ved uenighet forhandles karakteren fram gjennom en trinn-for-trinn beslutningsprosess. Når sensorer i utgangspunktet er uenige, kan de unngå å gi støtte til et uønsket karakterforslag for å få støtte for eget ståsted, og når de likevel ombestemmer seg og gir etter for en uønsket karakter, begrunnes det med generelle (og uskrevne) normer for vurdering. Analyser av læreres veiledning i klasserommet viser hvordan lærere og elever bruker eksplisitte og implisitte virkemidler for å tilby og søke hjelp i gruppearbeid på ungdomstrinnet. Lærere bruker nyanser i intonasjon for å støtte elevene i å finne tilstrekkelige svar på spørsmål. Alle parter er sterkt avhengige av kroppsspråk eller ikke-verbal kommunikasjon for å finne ut om det er nødvendig med lærers assistanse. Umiddelbar problemløsning kan skje uten at elevenes arbeidsprosess blir unødvendig avbrutt, og elevene bruker lærerens bevegelse i klasserommet som en ressurs for å be om hjelp til mindre problemer. Lærers tilstedeværelse og bevegelse i rommet har betydning for elevenes muligheter til å få veiledning. Vi utviklet en intervensjon basert på Conversation Analytic Role-play Method (CARM) for å forbedre interaksjonell bevissthet blant lærerstudenter. Resultatene fra denne intervensjonen viste at det var statistisk signifikante forskjeller mellom intervensjonsgruppa (deltakerne som gjennomførte CARM-verksted før evaluering av selvrefleksjon) og kontrollgruppa (deltakerne som ikke gjennomførte CARM-verksted før evaluering av selvrefleksjon) på selvrefleksjon. Det var også høy grad av aksept av kurset: deltakerne vurderte kurset som nyttig for egen utvikling som lærer, og vurderte kursets innhold og vanskelighetsgrad som passelig for lærerstudenter.

The CAiTE project has developed strong pathways to impact via its partnerships with teacher education and policymakers in the Vestfold region. Our partners have been able to feed into the process of data collection, analysis, and training delivery. The research has significance for the total national competence of collaborative group work and oral examinations, which has been understudied. The research impact is significant since it underpins new, targeted, evidence-based training materials for teacher practice and professional development. The research findings have been used in communications skills training (CARM training), which was used with teachers and showed via the randomized controlled trial to be effective. Teacher students can now, early in their training, access teacher practice through engaging with authentic examples and reflect upon how their conduct affect interactional outcomes in the classroom and during oral exams. Our results have been used in different educational settings, including professional conferences, masters’ courses, and professional development for teacher moderation. We also used our results in a CAiTE end seminar in which practitioners (teachers and teacher educators) and policy makers (Utdanningsdirektoratet and Vestfold fylkeskommune) attended. Our research, and the intervention contributes to knowledge and awareness on how language and interactional conduct affects the ensuing interaction in classrooms and during oral examinations. The results are also significant for policy makers in Norwegian education policy. An emerging concern for CAiTE was to investigate actual assessment practices between teachers, examiners, and students, and compare them to existing formal and informal educational guidelines for conducting and evaluating assessments. Some of our results can justify changes and adjustments to the guidelines issued by KD/Udir. We had two meetings with Udir during the project period and have an ongoing collaboration with Vestfold County to arrange sensor moderation seminars based on our research results.

This project aims to develop, evaluate and implement a new research-based instruction method for training feedback skills in teacher education at the University College of Southeast Norway (USN). The research group comprises three researchers from USN, two academic entrepreneurs and partners from Loughborough University (UK), three partner schools in the district, praxis schools, and an advisory board of the most experienced researchers in the field. The proposed project includes a research stage and an intervention stage. The former will entail analysis of video-recorded teacher-student interactions to identify feedback practices that support learning. The intervention stage will include translation of the research findings into role-play training workshops for teacher education, using the Conversation Analytic Role-play Method (CARM). CARM workshops involve viewing and/or listening to anonymised audio or video clips and transcripts synchronously and line by line, enabling participants to live through actual practice episodes without knowing what will happen next. The participants will then role-play what they might do next to handle the situation. The workshops will be delivered prior to the teacher students' second praxis period, and we will evaluate whether these workshops have the intended effect on teacher students' learning outcomes and self-efficacy. We will evaluate our intervention with questionnaires addressing student teachers' perceived self-efficacy, insight and confidence related to the delivery of student feedback. The first questionnaire will be based on The Norwegian Teacher Self-Efficacy Scale, a standardised questionnaire used to measure teachers' self-efficacy and for which a strong factorial invariance and test-retest reliability has been demonstrated. The proposed project will implement the CARM method with the close involvement of school teachers, teacher students, teacher educators and researchers from the educational sector.