Measuring learning under uncertainty

English summary This report describes a method for measuring learning outcome in cases where no learning objective is defined. This is typically a challenge for open ended, interactive experiments with prototype systems. A participant’s tendency over time to provide increasingly similar pre- and post-experiment evaluations of system utility, is interpreted as learning. The method makes it possible to monitor learning for complex systems, without prior knowledge about concepts of operation and procedures. The method has been applied to data from an interactive simulation experiment. Analysis of variance show significant learning during the experiment. A model is proposed that describe how simulation time, experience, and closeness to the system during the experiment influence learning.

Sammendrag Denne rapporten beskriver en metode for å måle læring i tilfeller der læringsmål ikke er definert. Dette er typisk en utfordring for frie interaktive eksperimenter med prototypsystemer. En deltagers tendens, over tid, til å levere stadig mer like pre- og post-eksperiment evalueringer av nytte av systemet tolkes som læring. Metoden gjør det mulig å monitorere læring for komplekse systemer, uten forhåndskunnskaper om operasjonskonsept og prosedyrer. Metoden er blitt brukt på data fra et interaktivt simuleringseksperiment. Variansanalyse viser signifikant læring i løpet av eksperimentet. Det foreslås en modell som beskriver hvordan simuleringstid, erfaring, og nærhet til systemet under eksperimentet påvirker læring.