F03-Arbeitsprobe: Zwölf Referenzfälle für einen KI-Ausgabeprüfer

Bearbeitbare Markdown-Demonstration · F03 Fehler und Urteilsprüfung · Stand: 7. September 2026

Status: redaktionell mit KI-Unterstützung erstellt und auf Rechen- und Inhaltskonsistenz geprüft. Die zwölf Fälle wurden NICHT mit einem Kundenprüfer ausgeführt. Dieses Dokument enthält Referenzurteile, keine gemessenen Prüfergebnisse.

Alle Projekte, Dienste, Aktennotizen, Zahlen und Termine sind vollständig synthetisch. Sie beschreiben keine realen Kunden oder Organisationen. Die zwei zuvor separat dokumentierten Validator-Gegenfälle gehören nicht zu diesen zwölf neuen Fällen und werden hier nicht mitgezählt.

Dateien und Eingabeschutz

Die CSV-Dateien verwenden UTF-8 ohne BOM, Komma als Feldtrennzeichen, doppelte Anführungszeichen zur Feldmaskierung und LF als Zeilenende. Sie enthalten genau eine Kopfzeile und keine Tabellenformeln. Beim Import in eine Tabellenanwendung UTF-8 und Komma auswählen. Alle ID-Spalten als Text behandeln.

Die Spalte atome_json enthält je Tabellenzeile ein JSON-Array. Es erlaubt sechs Referenzzeilen beziehungsweise zwölf Lösungszeilen, ohne die atomaren Aussagen zusammenzufassen. CSV und JSON enthalten dieselben Inhalte. Änderungen in einer Datei aktualisieren andere Dateien nicht automatisch; nach Bearbeitung müssen die Exporte erneut abgeglichen werden.

1. Prüfvertrag

Die Demonstration fragt, ob ein Ausgabeprüfer sachliche Aussagen korrekt gegen eine bereitgestellte Referenz prüft. Bewertet wird genau das vereinbarte Kriterium Quellentreue, einschließlich einfacher, aus der Referenz herleitbarer Rechnungen. Stil, Höflichkeit und sprachliche Überzeugungskraft sind keine Bewertungskriterien.

Begriffsgrenze: „Nicht belegt“ ist nicht dasselbe wie „widerlegt“. Eine korrekte Aussage über fehlende Information ist kein Fehler. Ein ungeklärter Sachverhalt darf nicht in eine vermeintlich sichere positive oder negative Tatsache umgedeutet werden.

Der Prüfer muss das Referenzblatt tatsächlich verarbeiten können. Ein Werkzeug, das ausschließlich Format oder Wortmuster prüft, wird durch diese Demonstration nicht stillschweigend zu einem Faktenprüfer erklärt. Fehlt ihm die erforderliche Eingabemöglichkeit, ist zuerst sein Prüfzweck zu klären; daraus entsteht noch kein auswertbarer Quellentreue-Lauf.

Vor einem späteren Lauf zu ergänzen:

Falls ein bestehender Prüfer einen Zahlenwert liefert, muss dessen Zuordnung zu den drei Antwortklassen vor dem Lauf festgelegt werden. Ein Punktwert ist nicht automatisch eine Wahrheitswahrscheinlichkeit.

2. Gemeinsamer Prüfauftrag

Der folgende Text kann jedem einzelnen Fall vorangestellt werden:

Prüfe, ob jede sachliche Behauptung der Ausgabe durch das zugeordnete Referenzblatt oder durch korrektes Rechnen daraus gedeckt ist. Bewerte ausschließlich Quellentreue. Eine unbelegte Freigabe ist nicht dasselbe wie eine nachgewiesen verweigerte Freigabe. Gib FEHLER, KEIN_FEHLER oder NICHT_ENTSCHEIDBAR aus. Begründe dein Urteil mit der konkreten Referenzstelle oder dem Rechenschritt. Unterscheide bei FEHLER zwischen Widerspruch, falscher Ableitung und unbelegter Zuschreibung.

Dem Prüfer werden der Lösungsschlüssel und die Information über die Verteilung richtiger und fehlerhafter Fälle nicht mitgegeben. Fall-IDs dienen der späteren Zuordnung. Für einen tatsächlichen Lauf sind die Eingaben aus diesem Dokument einzeln zusammenzustellen; das gesamte Dokument mit Lösungsteil darf nicht als Prüfeingabe verwendet werden.

3. Sechs synthetische Referenzblätter

Die folgenden Blätter sind die vollständige sachliche Referenz für diese geschlossene Aufgabe. Externe Recherche ist für die Fallurteile nicht erforderlich.

4. Zwölf Falltexte

Jede ID bezeichnet genau einen eigenständigen Fall. Zu jedem Fall wird ausschließlich das in der zweiten Spalte genannte Referenzblatt mitgegeben.

5. Ablauf für eine spätere Durchführung

1. Prüfzweck und Fassung festhalten. Prüfen, ob der Ausgabeprüfer für Quellentreue vorgesehen ist und die Referenz erhält. Version, Konfiguration, Eingabeformat und Auswertungsregel dokumentieren.
2. Referenzen und Lösungsschlüssel vorab prüfen. Die Fallleitung prüft die Zuordnungen und Begründungen unabhängig von späteren Prüferantworten. Unklare Stellen werden vor dem Lauf korrigiert und die Änderung wird dokumentiert.
3. Fallsatz einfrieren. T01–T12 und die zugehörigen Referenzen unverändert festhalten. Die Ausführungsreihenfolge kann einmal vor dem Lauf randomisiert und protokolliert werden. Jeder Fall erhält einen frischen Kontext; vorherige Fälle und Lösungen werden nicht mitgegeben.
4. Antworten vollständig erfassen. Für jeden Fall die tatsächliche Eingabe, die unveränderte Prüferantwort und den Ausführungszeitpunkt speichern. Fehler, Enthaltungen und fehlende Antworten bleiben sichtbar.
5. Mit dem Lösungsschlüssel abgleichen. Urteil und Begründung getrennt beurteilen. Ein korrektes Label mit falscher Begründung wird nicht als vollständig nachvollziehbare Prüfung beschrieben.
6. Bericht schreiben. Für jede Abweichung Fall-ID, konkrete Aussage, Referenzbeleg und Fehlerart nennen. Änderungsvorschläge müssen auf beobachtete Fälle zurückgehen. Schwierige Fälle werden nach dem Lauf nicht zur Verbesserung des Resultats entfernt oder ersetzt.

Vorlage für einen Einzelfallbefund: Fall-ID · Referenz-ID · tatsächliche Prüferantwort · Referenzurteil · Übereinstimmung des Labels · Tragfähigkeit der Begründung · Fehlerart oder offener Punkt · Belegstelle.

6. Lösungsschlüssel — nur für Fallleitung und Auswertung

Diese Tabelle enthält die redaktionell festgelegten Erwartungsurteile. Sie ist kein Ergebnis eines Prüferlaufs.

Damit enthält der Satz sechs positive Kontrollen mit eingebautem Fehler — T02, T04, T06, T08, T10, T12 — und sechs negative Kontrollen ohne solchen Fehler — T01, T03, T05, T07, T09, T11. „Positiv“ bedeutet hier Fehler vorhanden, nicht „gute Ausgabe“.

7. Auswertung und Interpretationsgrenzen

Für tatsächlich vorliegende binäre Prüferurteile gilt die folgende Zuordnung. Die Matrix ist eine Auswertungsvorlage und enthält noch keine Beobachtungszahlen.

NICHT_ENTSCHEIDBAR, technische Fehlermeldungen, fehlende Antworten und unklare Zuordnungen werden separat mit Anzahl und Fall-IDs berichtet. Sie werden weder als richtige Antworten noch als automatisch richtige Enthaltungen gezählt. Alle zwölf konstruierten Fälle haben im Lösungsschlüssel ein bestimmtes Referenzurteil; die Unentscheidbarkeit kann dennoch ein tatsächliches Verhalten des Prüfers sein.

Rohzahlen sind immer mit Fall-IDs und der Zahl auswertbarer Antworten auszuweisen. Die sechs positiven und sechs negativen Referenzlabels sind die Zusammensetzung des Fallsatzes; sie sind keine Treffer- oder Fehlalarmzahlen eines geprüften Systems.

Der kleine Satz wurde gezielt konstruiert. Er ist keine repräsentative Stichprobe aus einem Kundenprozess und begründet keine allgemeine Fehlerquote, Leistungsrangliste oder Trefferquotengarantie. Ein günstiger Ausgang würde ausschließlich die beobachteten Antworten auf diese Fälle in dieser Fassung betreffen. Bei einem stochastischen Prüfer weist eine einzelne Antwort je Fall keine Stabilität nach.

Das Material prüft weder ein vollständiges KI-System noch eine gesamte Organisation. Es enthält keinen Nachweis von Sicherheitswirkung, beruflicher Eignung oder Einsatznutzen. Auch eine bloße Übereinstimmung mit allen zwölf Erwartungslabels wäre keine allgemeine Validierung des Prüfers.

Quellenstatus je atomarer Aussage

Referenzatome tragen IDs wie R2.A1, zu prüfende Aussagen IDs wie T04.A1. T03 und T04 bestehen jeweils aus zwei atomaren Aussagen. Bei T04 ist die Aussage zur Fangquote falsch; die Teilbehauptung, dass 12 von 15 markierten Texten tatsächlich fehlerhaft sind, ist rechnerisch gedeckt. Ein fehlerhaftes Gesamturteil macht damit nicht automatisch jeden Teilclaim falsch.

Quellenstatus bezeichnet den Belegbezug einer Aussage. Er ist kein Handlungsvorschlag. In loesungen.json bleiben gemessene_pruefergebnisse und handlungsvorschlaege leer, weil kein Kundenprüferlauf vorliegt. Falls später konkrete Änderungen empfohlen werden, sind sie getrennt vom Quellenstatus mit dem jeweiligen tatsächlichen Befund zu dokumentieren.

Redaktionelle Rechen- und Konsistenzprüfung

Bei der Aufbereitung wurden die Datensätze und Zuordnungen geprüft: sechs Referenzen, zwölf eindeutige Fall-IDs, zwölf Lösungseinträge und jeweils sechs Fehler- beziehungsweise fehlerfreie Kontrollen. Die 15 Referenzatome und 14 zu prüfenden atomaren Aussagen sind getrennt erfasst.

Die Zahlen lassen sich unmittelbar nachvollziehen: 12.000 − 9.000 = 3.000; 12/20 = 60 Prozent; 12/(12 + 3) = 80 Prozent; 2,5 × 1.000 = 2.500. Die richtigen Rechnungen in T03 und T04 beziehen sich auf unterschiedliche Kennzahlen. T06 bleibt eine unbelegte Freigabezuschreibung, kein Beweis einer verweigerten Freigabe.

Diese Dateiprüfung ist keine Ausführung der zwölf Fälle mit einem Kundenprüfer. Ausgeführte Kundenprüferfälle: 0.

Quellen und Nutzung

Die Referenzblätter sind für diese Demonstration redaktionell erfunden. Maßgeblich für die Erwartungsurteile ist ausschließlich ihr ausdrücklicher Inhalt samt korrekten Ableitungen. Die Quellen- und Nutzungsgrenzen des Gesamtpakets stehen in Quellen und Nutzung. Diese Arbeitsprobe erteilt keine neue Lizenz.