Fast-and-frugal means to assess reflection-related reasoning processes in teacher training. Development and evaluation of a scalable machine learning-based metric.

Literaturnachweis - Detailanzeige

Trefferliste

Autor/inn/en	Mientus, Lukas; Wulff, Peter; Nowak, Anna; Borowski, Andreas
Titel	Fast-and-frugal means to assess reflection-related reasoning processes in teacher training. Development and evaluation of a scalable machine learning-based metric. Paralleltitel: Effektives Bewerten reflexionsbezogener Argumentationsprozesse in der Lehrkräftebildung. Entwicklung und Evaluation einer skalierbaren Metrik mittels maschinellen Lernens.
Quelle	In: Zeitschrift für Erziehungswissenschaft, 26 (2023) 3, S. 677-702Infoseite zur Zeitschrift PDF als Volltext kostenfreie Datei Link als defekt meldenVerfügbarkeit
Beigaben	Illustrationen
Sprache	englisch
Dokumenttyp	online; Zeitschriftenaufsatz
ISSN	1862-5215
DOI	10.1007/s11618-023-01166-8
Schlagwörter	Kompetenz; Empirische Untersuchung; Validität; Künstliche Intelligenz; Lehramtsstudent; Lehrerausbildung; Indikator; Argumentation; Text; Algorithmus; Computerunterstütztes Verfahren; Reflexion (Phil); Physikunterricht; Bewertung; Modell; Qualität; Situation; Vignette (Methode); Deutschland
Abstract	Reflexion gilt als Schlüsselkomponente für die berufliche Entwicklung von Lehrkräften und wird in der universitären Lehrkräftebildung häufig durch schriftliche Reflexionen bewertet und gefördert. Die empirische Forschung zeigt, dass reflexionsbezogene Kompetenzen bereichsabhängig und vielschichtig sind. Die Bewertung von Reflexionen ist jedoch komplex. Angesichts dieser Komplexität können neuartige methodische Instrumente wie nichtlineare, algorithmische Modelle dazu beitragen, hintergründige Beziehungen zu erforschen und Qualitätskorrelate für schriftliche Reflexionen besser zu bestimmen. In dieser Studie wurden daher Methoden des maschinellen Lernens eingesetzt, um Qualitätskorrelate für schriftliche Reflexionen in Physik in einer standardisierten Unterrichtssituation zu untersuchen. N= 110 (angehende) Physiklehrkräfte verfassten im Rahmen einer Videovignette eine schriftliche Reflexion über eine standardisierte Unterrichtssituation in Physik. Die schriftlichen Reflexionen der Physiklehrkräfte wurden mit einem maschinellen Lernmodell analysiert, das die Sätze in den schriftlichen Reflexionen nach den Elementen eines Rahmenmodells für Reflexion klassifizierte. Auf Basis dieses Algorithmus wurde ein Qualitätsindikator mit der Bezeichnung Level of Structure (LOS) entwickelt und gegenüber Einschätzungen von Experten validiert. Die Analysen zeigen, dass LOS positiv mit den Einschätzungen der Experten zur Qualität der Reflexion korreliert. Wir kommen zu dem Schluss, dass unser LOS einer schriftlichen Reflexion ein wichtiger Indikator für qualitativ hochwertige schriftliche Reflexionen ist, der typische Qualitätskorrelate wie die Textlänge ausschließen kann. Mit Hilfe des maschinellen Lernmodells kann ein LOS nützlich sein, um die schriftlichen Reflexionen von angehenden Physiklehrern zu bewerten. (DIPF/Orig.). Reflection is hypothesized to be a key component for teachers' professional development and is often assessed and facilitated through written reflections in university-based teacher education. Empirical research shows that reflection-related competencies are domain-dependent and multi-faceted. However, assessing reflections is complex. Given this complexity, novel methodological tools such as non-linear, algorithmic models can help explore unseen relationships and better determine quality correlates for written reflections. Consequently, this study utilized machine learning methods to explore quality correlates for written reflections in physics on a standardized teaching situation. N= 110 pre- and in-service physics teachers were instructed to reflect upon a standardized teaching situation in physics displayed in a video vignette. The teachers' written reflections were analyzed with a machine learning model which classified sentences in the written reflections according to elements in a reflection-supporting model. A quality indicator called level of structure (LOS) was devised and further used to validate machine learning classifications against experts' judgements. Analyses show that LOS is positively correlated with experts' judgements on reflection quality. We conclude that LOS of a written reflection is one important indicator for high-quality written reflections which is able to exclude typical quality correlates such as text length. With the help of the machine learning model, LOS can be useful to assess pre-service physics teachers written reflections. (DIPF/Orig.).
Erfasst von	DIPF \| Leibniz-Institut für Bildungsforschung und Bildungsinformation, Frankfurt am Main
Update	2024/1