Educational assessments of the 21st century: Measuring and understanding students adaptability in complex problem solving situations

Hele livet handler om å løse problemer. Vi står ofte overfor situasjoner hvor informasjonen vi trenger for å løse et problem ikke er tilgjengelig der og da, og hvor ting endrer seg raskt. Tenk deg, for eksempel, at programvaren på smarttelefonen din blir oppdatert og at telefonen din har nye egenskaper, nytt design og ny funksjonalitet. Du befinner deg da i en ny og kanskje ukjent situasjon som krever at du lærer noe nytt og justerer dine tidligere antagelser om hvordan smarttelefonen din fungerer. Evnen til å håndtere en slik ny situasjon kalles din "tilpasningsevne". Gitt den raske utviklingen i moderne informasjons- og kommunikasjonsteknologi i dagens samfunn, er tilpasningsevnen viktigere enn noensinne. Hvordan fungerer så denne tilpasningsevnen? Hvilke trinn kreves for å tilpasse seg? Er det en sammenheng mellom tilpasningsevne og hvor godt man lykkes med problemløsningsoppgaver? Og viktigst av alt, hvordan kan vi vite om vi er tilpasningsdyktige? Dette prosjektet har tatt et pedagogisk perspektiv på disse spørsmålene og har fokusert på måter å vurdere studenters tilpasningsevne. I løpet av den første prosjektperioden ble det klart at tilpasningsevne ikke bare refererer til fleksibel tenkning, men også til følelsesmessig smidighet og affektive tilpasninger. Denne kunnskapen informerte første trinn om å utvikle en vurdering og resulterte i en selvrapporteringsskala. Skalaen viste tilstrekkelige psykometriske egenskaper og differensierte godt mellom kognitive-atferdsmessige og affektive-emosjonelle aspekter av tilpasningsevne. På andre trinn viste prosjektet at studenters tro på at vitenskapelig kunnskap ikke er fast, men som kan endres over tid, er relatert til troen på egen tilpasningsevne. Studentene ser endringer i verden av vitenskap og vitenskapelig kunnskap gjennom "sine egne linser". I sluttfasen av prosjektet utviklet vi en PC-basert test av tilpasningsevne og administrerte den til cirka 1200 norske studenter som har vært i overgang til universitetet. Denne testen inneholdt oppgaver om helse, ernæring og søvn. Disse oppgavene vurderte studenters problemløsningsferdigheter og ferdigheter til å tilpasse seg til ny eller dynamisk informasjon. Studenters prestasjoner på disse oppgavene var positivt relatert til grunnleggende kognitive ferdigheter. Det fantes flere tilpasningsprofiler for studenter og varierte fra knapt til svært tilpasningsdyktige. Disse profilene skilte seg stort i tankesettene studentene hadde rapportert som enten faste eller veksttanker. Alt it alt resulterte dette prosjektet i en selvrapporteringsskala og en prestasjonsbasert vurdering av tilpasningsevne i komplekse problemløsningssituasjoner, og har vist at individuelle forskjeller i tilpasningsevne er relatert til studenters tankesett, nysgjerrighet og tro på vitenskap.

The project results have an impact on the understanding of adaptability. So far, adaptability has largely been considered a trait that mainly requires cognitive flexibility and abstract reasoning; however, our project has shown that it also requires affective and emotional skills and beliefs. In fact, adaptability comprises a complex skillset and belief system that involve self-beliefs, beliefs about scientific knowledge, and mindsets. These novel perspectives on adaptability have informed, to some extent, the frameworks of other international projects, such as the problem-solving framework of the second PIAAC cycle and the computational thinking framework of the TEACH21st project. The project's respective publications have highlighted the different components of adaptability and have informed the scientific community as well as contributed to the extant body of research. Finally, the setup of the assessments can be used to map students' adaptability broadly.

Given the rapid development of modern information and communication technology in our society, the skill demands in education and workplaces have recently shifted toward non-routine, dynamic, and complex skills. From an educational perspective on this shift, there is an increasing need for valid and innovative assessments that are able to capture the complexity of these key skills. The project addresses this need by developing and validating an innovative, computer-based assessment of students' ability to creatively adjust their thinking, behavior, and drive to changes and novelty (i.e., adaptability) in complex problem solving (CPS) situations. Building on existing assessments of CPS, this new assessment requires students to react on dynamic changes and novel information that determine the problem situation. The resulting data provide unique opportunities to study students' behavior with respect to adaptability. Besides looking at the cognitive and behavioral components of adaptability, the project will evaluate indicators of an affective dimension to provide a differentiated perspective on this key construct. The study will be conducted in grade levels 8 to 10 (N=1,450), a developmental phase in which students need to deal with a number of novel and dynamic situations; the data will be analyzed using advanced latent variable modeling. To further understand the nature of adaptability as a construct that may assist students in academic and non-academic contexts, and to examine the validity of the new assessment, the relations to cognate constructs such as fluid intelligence and working memory capacity, motivational constructs such as openness and self-concept, and to educational criteria such as school achievement are investigated. The project will generate new knowledge about adaptability in CPS situations as a critical skill in 21st century education, and will advance national competences in developing innovative, computer-based assessments.