Structured Assessment System for Improved Student Learning

Det å gi studenter hurtige tilbakemeldinger - en vurdering - er viktig for studentenes læring. Vurderinger kan være formative, rettet mot å hjelpe studentene til å bli bedre, eller summative, fokusert på å evaluere studentens læring. Vurderingsmetodene må være basert på forskning for å sikre at de bidrar til læring på et best mulig vis. Dette er spesielt viktig når utdanningens innhold endres i retning av databeregninger, bruk av datamaskiner til å løse problemer, et område hvor det i dag er liten forskningsmessige basis for gode vurderingsformer. Målet med prosjektet er å utvikle, validere og implementere et vurderingssystem til bruk for lærer-, medstudent-, og selv-vurdering for generelle emner og for emner som integrerer databeregninger. Systemet skal strukturere måten vurderingen gjøres på slik at studentene får tilpassede tilbakemeldinger. Vi vil samle data fra hvordan studenter svarer og lærer og bruke dette til å forbedre tilbakemeldingene og gjøre intervensjoner. Systemet vil utvikles at CCSE ved Universitetet i Oslo (UiO), anvendes i utvalgte emner og så spres bredt på UiO, nasjonalt og internasjonalt. Gjennom prosjektet har vi utviklet metoder for å vurdere studenters faglige beregningskompetanse. Metodene er utviklet gjennom intervjuer med undervisere og studenter og har resultert i en rubrikk som er testet på tvers av undervisere, emner og utdanningsinstitusjoner. Den opprinnelige planen var å legge en slik rubrikk til grunn for automatiserte tilbakemeldinger til studentene, men utviklingen av kunstig intelligens og store språkmodeller har gjort det opprinnelig foreslåtte systemet utdatert. Gjennom prosjektet har vi derfor i stedet utviklet metoder for bruk av språkprosessering. Dette ble først utviklet i godt kontrollerte eksempler ved å studere utviklingen av konsepter i naturvitenskapelig utdanningsforskning. Disse metodene blir videreutviklet sammen med bruk av store språkmodeller til å kartlegge studenters tekst-svar og gi tilpassede tilbakemeldinger i et prosjekt ved INTED – senter for tverrfaglige utdanning. Vi søker ytterligere finansiering til dette prosjektet gjennom nasjonale og internasjonale støtteordninger.

This project has allowed the Center for Computing in Science Education to develop new methods for assessing students’ computational competence. The project has developed rubrics that are currently used in assessments at several institutions. And the project has provided a basis for developing a framework for assessing computational competence. In addition, the project has provided the foundation in the application of natural language processing methods to categorize and characterize texts. Initially, this has been used to understand developmental trends in education research. However, the methods developed form the basis for applying these methods to assess students’ texts and provide adapted feedback to student work. The project has also initiated to a long-term collaboration between the University of Oslo and Michigan State University on assessment methods and rubrics. This has both improved education and assessments and provide a basis for future collaboratory projects.

Effective and timely assessments for students in higher education is important to improve student learning, but providing assessments and feedback to students requires significant resources. This is the basis for the growth in methods and technology for peer-assessment, self-assessment, computer-aided assessment and various methods to make teacher-assessment more efficient. In addition, significant curricular changes are occurring as computational methods are integrated in educations across fields. At the University of Oslo (UiO) the newly established Center for Computing in Science Education (CCSE), a Center for Excellence in Education, is at the forefront of this change. However, new curriculums and new learning outcomes require new, effective formative and summative assessments. The goal of this project is to develop, validate and implement an assessment system to be used for teacher-, peer- and self-assessment for general courses as well as for courses with integrated computing. The system will provide students with timely and adapted feedback in a cost-efficient manner and ensure more valid and reliable grading of exams. The system will be developed by CCSE and implemented in the science education at UiO. A successful assessment system depends on research to develop effective methods for assessment of both regular and computational learning outcomes. We need research to develop and validate effective assessment structures, such as rubrics or checklists, that are adapted both to traditional curriculums as well as concepts and understanding linked to a computational approach to science. Also, the structures must be suitable for teacher-, peer-, and self-assessment roles with a focus on how feedback from assessments can be tuned to produce as good student learning as possible. Research will be conducted by CCSE and the educational research group at the Michigan State University.