ChatGPT schreibt die besseren Schulaufsätze

Während die Version 3.5 von ChatGPT Anfang des Jahres 2023 noch am bayerischen Abitur gescheitert war, erreichte die Version 4 kaum ein halbes Jahr später eine glatte Zwei, so die Autoren.

Laut der Studie, die im Oktober unter dem Titel "A large-scale comparison of human-written versus ChatGPT-generated essays" in "Scientific Reports" erschienen ist, verfasst die Künstliche Intelligenz die besseren englischsprachigen Aufsätze. Grundlage der Beurteilung ist ein Vergleich von Aufsätzen aus der Oberstufe mit solchen, die der ChatBot generierte.

Tatsächlich schnitten laut Prof. Dr. Steffen Herbold, Inhaber des Lehrstuhls für AI Engineering an der Universität Passau, beide Versionen des Chatbots von OpenAI in allen Bereichen besser ab als die Schüler, wobei GPT-3 im Mittelfeld lag und GPT-4 die beste Leistung aufwies. "Das zeigt, dass Schulen diese neuen Werkzeuge nicht ignorieren sollten."

Der Informatiker führte die interdisziplinäre Studie gemeinsam mit der Computerlinguistin Prof. Dr. Annette Hautli-Janisz und der Informatik-Didaktikerin Ute Heuer durch. Hautli-Janisz ließ Lehrkräfte, die mehrheitlich an Gymnasien unterrichten, Aufsätze nach den Kriterien Thema, Vollständigkeit und Logik des Aufbaus sowie sprachliche Aspekte wie Wortschatz, Komplexität und Sprachbeherrschung bewerten.

111 Lehrkräfte bewerteten insgesamt 270 englischsprachige Aufsätze, ohne zu wissen, wer sie verfasst hatte. Die größte Abweichung stellte das Forschungsteam bei der Sprachbeherrschung fest. Hier erreichte die Maschine 5,25 (GPT-4) und 5,03 Punkte (GPT-3). Die Schüler kamen durchschnittlich auf 3,9 Punkte. Das Ergebnis bedeute nicht, so Hautli-Janisz, dass die Schüler "schlecht in der englischen Sprache" seien. Vielmehr seien die Werte des Chat-Bots "überdurchschnittlich hoch".

Ein weiteres Ergebnis der Studie ist die Einsicht, dass sich die Sprachbeherrschung des Chat-Bots mit jeder neuen Version weiterentwickelt. Darüber hinaus stellten die Autoren Unterschiede zwischen der menschlichen und der maschinengenerierten Sprache fest: "Wenn wir in Zukunft mehr KI-generierte Texte lesen, dann stellt sich die Frage, ob und wie sich dies auf unsere menschliche Sprache auswirken wird", so Hautli-Janisz.

Originalpublikation:

Herbold, S., Hautli-Janisz, A., Heuer, U. et al. A large-scale comparison of human-written versus ChatGPT-generated essays. Sci Rep 13, 18617 (2023). https://doi.org/10.1038/s41598-023-45644-9

Passend zum Thema:

Edwin Hübner, ChatGPT – Symptom einer technischen Zukunft, Stuttgart 2023

Die Technologien, die ChatGPT zugrunde liegen, sind beeindruckend. Aber wie bei allen Technologien muss der Mensch ihnen gewachsen sein. Was braucht das Schulleben im 21. Jahrhundert, damit sich junge Menschen so bilden können, dass sie den Anforderungen, welche sogenannte künstliche Intelligenzen stellen, gewachsen sind? Die Erfahrung zeigt: Je komplexer ein Gerät ist, desto mehr muss sich der Mensch befähigen, dieses Gerät kompetent zu nutzen. Junge Menschen benötigen daher eine gute und umfassende Bildung ihres Denkens sowie ihrer ganzen Persönlichkeit, um mit der von den Geräten ausgehenden Anziehung umgehen zu können, sodass sie die "intelligenten" Geräte beherrschen und das eigene Leben menschenwürdig zu gestalten vermögen. ChatGPT macht uns darauf aufmerksam, dass wir eine Pädagogik für das Leben im Zeitalter der "klugen" Apparate zu erfinden haben.