Rechnergestützte Auswertung kann Folgefehler nicht korrekt bewerten

15.09.2017

Im neuen Ausbildungsberuf "Kaufmann/-frau für Büromanagement" vom 11. Dezember 2013 werden die gestreckte Abschlussprüfung, aber auch neue Prüfungsverfahren eingesetzt, insbesondere werden gebundene schriftliche Aufgaben rechnergestützt ausgewertet. Diese Auswertungen werden in Listen (Ergebnisübersichten) eingetragen und den zuständigen Prüfungsausschüssen als Zensurenempfehlung zur Verfügung gestellt.

Nachdem der 1. Teil der getreckten Abschlussprüfung, im Prüfungsbereich 2Informationstechnisches Management", nach ca. der Hälfte der Ausbildungszeit absolviert wurde, fand der 2. Teil der gestreckten Abschlussprüfung im Rahmen der Sommerprüfung 2017 statt. Die Prüfungsausschüsse mussten sich mit den neuen Strukturen und Anforderungen der gestreckten Abschlussprüfung auseinandersetzen. Dabei traten erhebliche Probleme auf, so hatten die Prüfungsausschüsse grundsätzlich zu wenig Zeit um sich sowohl mit den schriftlichen Aufgaben, als auch mit den "Reports" ausreichend intensiv befassen zu können. Auch wenn keine Reportvariante sondern die klassische Variante gewählt wurde, war die Zeit zu knapp bemessen. Der Prüfungsausschuss muss sich mit dem Prüfling (u.a. Durchsicht des Berichtsheft) umfassend beschäftigen können, um dann für den Prüfling im Rahmen der klassischen Variante eine gleichwertige Aufgabe erstellen zu können. Dies erfordert noch mehr Zeit, als wenn der Prüfling die Reportvariante gewählt hätte.

Die Einführung dieser rechnergestützten Auswertung wurde u.a. damit begründet, dass die Arbeit der Prüfungsausschüsse unterstützt wird, darüber hinaus sollen die Kosten für die Auswertung reduziert werden.

Als ganz schwerwiegendes Problem zeigte sich, dass die rechnergestützte Auswertung der gebundenen schriftlichen Aufgaben nicht in der Lage ist, Folgefehler zu erkennen und entsprechende Bewertungsvorschläge für den Prüfungsausschuss zu unterbreiten. In den von der AKA veröffentlichen Hinweisen für Prüfungskorrektoren selbst wird ausdrücklich auf die Folgefehlerproblematik hingewiesen mit der Empfehlung entsprechende Punkte zu vergeben.

Eine Analyse der rechnergestützten Auswertungen der gebundenen schriftlichen Aufgaben im Prüfungsbereich „Kundenbeziehungsprozesse“ hat nun aber ergeben, dass diese rechnergestützte Auswertung Folgefehler nicht erkennt und jeweils 0 Punkte vergibt.

Im Rahmen einer gründlichen Überprüfung der rechnergestützten Auswertungsergebnisse durch Mitglieder aus Prüfungs- und Aufgabenerstellungsausschüssen, hat sich nun ergeben, dass das Programm, das zur Auswertung gebundener schriftlicher Aufgaben eingesetzt wurde, nicht in der Lage ist Folgefehler zu erkennen und entsprechend zu bewerten.

Folgender konkreter Sachverhalt wurde im Rahmen der Auswertung der Prüfungsergebnisse der gestreckten Abschlussprüfung im Teil 2 des Prüfungsbereichs "Kundenbeziehungsprozesse" festgestellt:

Prüfling XY hat im Prüfungsbereich gebundene schriftliche Aufgaben zu bearbeiten. Dabei wählt er für den Buchungssatz, bei dem drei Konten anzugeben waren, lediglich bei einem Konto die vierte Ziffer des zu wählenden Kontos falsch aus. Das Auswertungsprogramm, sieht hierin einen völlig falschen Buchungssatz und somit falsche Lösung. Das Programm sieht hierfür 0 Punkte vor. In den direkt folgenden Aufgaben, die sich auf diese Kontonummer beziehen, setzt der Prüfling weiterhin die falsch gewählte Kontonummer (also nur die falsche 4. Ziffer) ein. Obwohl der Prüfling diese folgenden Aufgaben dann inhaltlich korrekt bearbeitet, erhält er nicht die angemessene Punktezahl, sondern durchgängig 0 Punkte.

Obwohl dieses durch das Auswertungsprogramm falsch ermittelte Prüfungsergebnis lediglich als Vorschlag für den Prüfungsausschuss zu werten ist, gehen Prüfungssauschüsse von einer Verbindlichkeit und Korrektheit dieses Auswertungsergebnisses aus. In der Regel können sie die Fehlerhaftigkeit dieser Ergebnisse aber gar nicht erkennen, weil sie zum einen die Aufgabenstellungen nicht den Ergebnissen in den zur Verfügung gestellten Listen zuordnen können, zum anderen fehlt es schlicht an ausreichender Vorbereitungszeit.

Da die Verantwortung für das Prüfungsergebnis aber beim zuständigen Prüfungsausschuss liegt, geraten die Prüfungsausschüsse in eine inakzeptable Situation

Daraus ergeben sich drei Forderungen:

  • Das computergestützte Auswertungsverfahren muss so lange ausgesetzt werden bis die Folgefehlerproblematik gelöst ist.
  • Es muss geklärt werden, nach welchem Verfahren die Einträge des Prüflings in das rechnergestützte System übertragen werden; dieses Verfahren muss für den Prüfungsausschuss transparent sein.
  • Die Prüfungsunterlagen werden den Prüfungsausschüssen so rechtzeitig zur Verfügung gestellt, dass diese sich ausführlich mit Aufgabenstellungen und Antworten befassen können.