Empirische Arbeit: Automatisierte Bewertung argumentativer Texte von Lernenden der Sekundarstufe: Potenziale und Grenzen der Nutzung von Large Language Models im Fach Deutsch

Die Beurteilung argumentativer Texte ist eine komplexe und zeitaufwendige Tätigkeit, wodurch die Diagnostik und Förderung sowohl im Deutschunterricht als auch im Rahmen von Bildungsmonitorings erschwert werden. Large Language Models (LLMs) eröffnen neue Möglichkeiten der automatisierten Schreibbeurteilung; ihre Leistungsfähigkeit bei der Bewertung deutschsprachiger Texte ist jedoch wenig untersucht. In der vorliegenden Studie wurden 1000 argumentative Texte von Lernenden der Sekundarstufe Rubrik-basiert von menschlichen Rater:innen und verschiedenen LLMs beurteilt. Der Fokus der Analyse lag auf Akkuratheit (quadratisch gewichtete
Kappa-Koeffizienten, ±1-Übereinstimmung). Zudem wurden Urteilstendenzen und Fairnessaspekte untersucht. Die Ergebnisse zeigen, dass LLMs insbesondere bei holistischen Urteilen eine gute Übereinstimmung mit menschlichen Ratings erreichen. Analytische Dimensionen (insbesondere Sprache) sind für LLMs schwieriger zu erfassen. Es zeigten sich modellabhängige Urteilstendenzen. Hinweise auf systematische Verzerrungen bei ausgewählten Hintergrundmerkmalen der Lernenden traten nicht auf. LLMs erscheinen somit potenziell nützlich für summative Rückmeldungen.