Denkwege: das Open-Closed Exam (OCE) als longitudinales Prüfungskonzept [Abstract]
- Hintergrund/Fragestellung: Klassische MC-Prüfungen fördern kurzfristige Wissensreproduktion (Bulimielernen) und stehen in Spannung zu kompetenzorientierten Lernzielen. Gleichzeitig sind offene Prüfungsformate ressourcenintensiv und schwer standardisierbar. Das Open-Closed Exam (OCE) verbindet als longitudinales Prüfungsdesign offene Fallbearbeitung, Clinical Reasoning und summative MC-Prüfung systematisch und wirkt konstruktiv lernsteuernd.
Methoden: Zu Beginn des Studienabschnitts bearbeiten Studierende klinische Fallvignetten mit offenen Fragen (Eingangstestat). Diese Vignetten begleiten die Lehrveranstaltungen als wiederkehrende Referenzfälle. Am Ende des Lernabschnitts beantworten die Studierenden MC-Fragen zu denselben Fällen. Bei der Erstellung können Distraktoren aus den mithilfe von KI extrahierten Fehlkonzepten der offenen Antworten genutzt werden. Das Format wurde zweimal pilotiert (n=91 und n=60). Neben organisatorischer Machbarkeit und qualitativen Daten zur AkzeptanzHintergrund/Fragestellung: Klassische MC-Prüfungen fördern kurzfristige Wissensreproduktion (Bulimielernen) und stehen in Spannung zu kompetenzorientierten Lernzielen. Gleichzeitig sind offene Prüfungsformate ressourcenintensiv und schwer standardisierbar. Das Open-Closed Exam (OCE) verbindet als longitudinales Prüfungsdesign offene Fallbearbeitung, Clinical Reasoning und summative MC-Prüfung systematisch und wirkt konstruktiv lernsteuernd.
Methoden: Zu Beginn des Studienabschnitts bearbeiten Studierende klinische Fallvignetten mit offenen Fragen (Eingangstestat). Diese Vignetten begleiten die Lehrveranstaltungen als wiederkehrende Referenzfälle. Am Ende des Lernabschnitts beantworten die Studierenden MC-Fragen zu denselben Fällen. Bei der Erstellung können Distraktoren aus den mithilfe von KI extrahierten Fehlkonzepten der offenen Antworten genutzt werden. Das Format wurde zweimal pilotiert (n=91 und n=60). Neben organisatorischer Machbarkeit und qualitativen Daten zur Akzeptanz wurden Itemkennwerte und studentische Rückmeldungen anhand von Fokusgruppen und nicht standardisierten Fragebögen analysiert.
Ergebnisse: Das Modell war organisatorisch umsetzbar, jedoch mit initialem Abstimmungsbedarf hinsichtlich Blueprint und Bewertungsraster verbunden. KI-gestützte Distraktorgenerierung reduzierte den Aufwand der Itemerstellung erheblich, machte eine intensive Nachbearbeitung jedoch nicht überflüssig. In den begleitenden Erhebungen bezeichnen 71,9% der Studierenden und 63,4% der Lehrenden das Verfahren als lern- und verhaltenssteuernd. Es wurden signifikant weniger Anki-Karten verwendet. Die resultierenden MC-Items zeigten gute Schwierigkeits- und Trennschärfeindizes. Interessanterweise unterschieden sich Itemkennwerte einzelner Fragen, die nicht vollständig dem vorgesehenen OCE-Raster entsprachen, nicht signifikant von regelkonformen OCE-Items. Dies weist darauf hin, dass der zentrale Effekt möglicherweise weniger in der Distraktorlogik als in der longitudinalen Fallbindung liegt.
Diskussion: Das OCE verbindet formative und prospektiv wirksame Wissensaktivierung mit summativer Entscheidungsanforderung und schafft curriculare Kohärenz zwischen Lehre und Prüfung. Die KI-Unterstützung ermöglicht Skalierbarkeit. Weitere Forschung ist erforderlich, um Lernwirksamkeit und langfristige Effekte auf Konzeptverständnis systematisch zu evaluieren.
Take-Home-Messages: Das Open-Closed Exam macht Prüfungsrelevanz transparent und wirkt konstruktiv lernförderlich.…
