# AUGMANITAI

> Independent research practice of Andreas Ehstand on performance, meaning and judgment in human–machine collaboration. A public research lexicon gives precise names to the small moments between people and AI — so people can recognise them and keep their own judgment.

This site is a research publication. No shop, no booking on this site. No legal, financial, medical or any other advice.

## What this site offers

- 101 terms are accessible in the public lexicon, each with a plain-language explanation and an everyday example. The larger private word network contains further terms and connections and is clearly separated from the public selection.
- A growing working corpus of documented human–AI dialogues underlies the naming work. It is a working corpus, not an effectiveness study.
- Interactive experiences: a decision moment (synthetic business case) and a founder judgment case, both clearly marked as invented examples.
- Research fields: NEOMANITAI (human–AI moments), ROBMANITAI (humans and robots), SWAMANITAI (humans and machine swarms), art from concepts, and a local machine for sensitive on-site work.

## Key pages

- Home: https://augmanitai.com/
- Public lexicon (101 terms): https://augmanitai.com/lexicon/
- Machine-readable lexicon data: https://augmanitai.com/lexicon/terms.json
- Periodic table of human–AI interaction: https://augmanitai.com/perioden-system
- Performance: https://augmanitai.com/leistung
- Knowledge & judgment (legacy essay): https://augmanitai.com/vermaechtnis
- Verification (public registers): https://augmanitai.com/verify
- About the author: https://augmanitai.com/autor/
- Games: https://augmanitai.com/play/

## Author

Andreas Ehstand — performance coach and independent researcher. Twenty-five years of coaching, twenty of them with sports-science methodology; elite sport since 2013; research associate positions at TU Dortmund and University of Bayreuth (2011–2013). Public identifiers (Wikidata, ORCID, EU trademark) are linked on the verification page.

Contact: andreas.ehstand@augmanitai.com

## Key publication

Full text on this domain, plain markdown (CC BY 4.0): https://augmanitai.com/universal-concept-layer.en.md (EN) - https://augmanitai.com/universal-concept-layer.de.md (DE) - summary page: https://augmanitai.com/universal-concept-layer

"The Universal Concept Layer: Language as Versionable Code — A Meaning Layer between Humans, Language Models, Agents, and Robots" (working paper, English + German, open access, CC BY 4.0, 2026-08-30). DOI: https://doi.org/10.5281/zenodo.22172128

- Wer Entwürfe aus Künstlicher Intelligenz (KI) nachprüfen lässt, sollte wissen, was sein Werkzeug nicht findet: https://augmanitai.com/notiz-gegenzahl-blindheit (DE) / If you have AI output checked, know what your tool does not find: https://augmanitai.com/en/notiz-gegenzahl-blindheit (EN)

## Licensing

Parts of the research are permanently archived. The licence is stated for each individual work.

## All public lexicon terms (101)

- Advance-Trust Unease / VORSCHUSSUNRUHE — https://augmanitai.com/lexicon/terms/advance-trust-unease.html
- After-Silence / NACHSTILLE — https://augmanitai.com/lexicon/terms/after-silence.html
- Authorship Vertigo / AUTORENSCHAFTSSCHWINDEL — https://augmanitai.com/lexicon/terms/authorship-vertigo.html
- Beat Dissonance / SCHWEBUNG — https://augmanitai.com/lexicon/terms/beat-dissonance.html
- Beckon Might / WINKMACHT — https://augmanitai.com/lexicon/terms/beckon-might.html
- Body Schema Expansion / KÖRPERSCHEMA-AUSWEITUNG — https://augmanitai.com/lexicon/terms/body-schema-expansion.html
- Borrowed Garment / LEIHGEWAND — https://augmanitai.com/lexicon/terms/borrowed-garment.html
- Breakaway Startle / AUSSCHERSCHRECK — https://augmanitai.com/lexicon/terms/breakaway-startle.html
- Bridge Pride / BRÜCKENSTOLZ — https://augmanitai.com/lexicon/terms/bridge-pride.html
- Co-Growth / MITWUCHS — https://augmanitai.com/lexicon/terms/co-growth.html
- Comparison Sting / VERGLEICHSSTICH — https://augmanitai.com/lexicon/terms/comparison-sting.html
- Contradiction Door / WIDERSPRUCHSTÜR — https://augmanitai.com/lexicon/terms/contradiction-door.html
- Core Echo / KERNECHO — https://augmanitai.com/lexicon/terms/core-echo.html
- Crack Shift / RISSVERSCHIEBUNG — https://augmanitai.com/lexicon/terms/crack-shift.html
- Creeping Relocation / SCHLEICHUMZUG — https://augmanitai.com/lexicon/terms/creeping-relocation.html
- Crutch Shame / STÜTZSCHAM — https://augmanitai.com/lexicon/terms/crutch-shame.html
- Dot Flicker / PUNKTEFLIRREN — https://augmanitai.com/lexicon/terms/dot-flicker.html
- Echo Anxiety / ECHOANGST — https://augmanitai.com/lexicon/terms/echo-anxiety.html
- Edge of Language / BEGRIFFSKANTE — https://augmanitai.com/lexicon/terms/edge-of-language.html
- Emergent Calibration / EMERGENTE KALIBRIERUNG — https://augmanitai.com/lexicon/terms/emergent-calibration.html
- Equanimity Ground / GLEICHMUTSBODEN — https://augmanitai.com/lexicon/terms/equanimity-ground.html
- Feather Closeness / FEDERNÄHE — https://augmanitai.com/lexicon/terms/feather-closeness.html
- Final-Grip Calm / LETZTGRIFFRUHE — https://augmanitai.com/lexicon/terms/final-grip-calm.html
- First Ear / ERSTOHR — https://augmanitai.com/lexicon/terms/first-ear.html
- Floor Crack / BODENRISS — https://augmanitai.com/lexicon/terms/floor-crack.html
- Foreign Completion / FREMDVOLLENDUNG — https://augmanitai.com/lexicon/terms/foreign-completion.html
- Frictionlessness / WIDERSTANDSLOSIGKEIT — https://augmanitai.com/lexicon/terms/frictionlessness.html
- Gear Grip / ZAHNGRIFF — https://augmanitai.com/lexicon/terms/gear-grip.html
- Grinding Sand / REIBSAND — https://augmanitai.com/lexicon/terms/grinding-sand.html
- Grip for the Railing / GELÄNDERGRIFF — https://augmanitai.com/lexicon/terms/grip-for-the-railing.html
- Gut Seal / BAUCHSIEGEL — https://augmanitai.com/lexicon/terms/gut-seal.html
- Ice Tapping / EISKLOPFEN — https://augmanitai.com/lexicon/terms/ice-tapping.html
- In-Between Eye / ZWISCHENAUGE — https://augmanitai.com/lexicon/terms/in-between-eye.html
- Interpreter's Load / DOLMETSCHLAST — https://augmanitai.com/lexicon/terms/interpreter-s-load.html
- Intuition Conflict / INTUITIONSKONFLIKT — https://augmanitai.com/lexicon/terms/intuition-conflict.html
- Journey Ripeness / WANDERREIFE — https://augmanitai.com/lexicon/terms/journey-ripeness.html
- Likeness Grind / GLEICHSCHLIFF — https://augmanitai.com/lexicon/terms/likeness-grind.html
- Limit Confession / GRENZGESTÄNDNIS — https://augmanitai.com/lexicon/terms/limit-confession.html
- Loop Flicker / RUNDENFLIMMERN — https://augmanitai.com/lexicon/terms/loop-flicker.html
- Loop Pull / SCHLEIFENZUG — https://augmanitai.com/lexicon/terms/loop-pull.html
- Mental Exhaustion / MENTAL-ERSCHÖPFUNG — https://augmanitai.com/lexicon/terms/mental-exhaustion.html
- Metric Dependency / METRISCHE ABHAENGIGKEIT — https://augmanitai.com/lexicon/terms/metric-dependency.html
- Metric Drift / METRISCHE DRIFT — https://augmanitai.com/lexicon/terms/metric-drift.html
- Metric Fatigue / ZAHLENBETAEUBUNG — https://augmanitai.com/lexicon/terms/metric-fatigue.html
- Metric Maturation / METRISCHE REIFUNG — https://augmanitai.com/lexicon/terms/metric-maturation.html
- Metric Performance / ZAHLENTHEATER — https://augmanitai.com/lexicon/terms/metric-performance.html
- Mirror Vertigo / SPIEGELSCHWINDEL — https://augmanitai.com/lexicon/terms/mirror-vertigo.html
- Nonjudgmental Stillness / URTEILSSTILLE — https://augmanitai.com/lexicon/terms/nonjudgmental-stillness.html
- One-Cast Moment / GUSSMOMENT — https://augmanitai.com/lexicon/terms/one-cast-moment.html
- Order Exhale / ORDNUNGSAUFATMEN — https://augmanitai.com/lexicon/terms/order-exhale.html
- Over-the-Shoulder Self-View / SCHULTERBLICK — https://augmanitai.com/lexicon/terms/over-the-shoulder-self-view.html
- Overwilling Fatigue / ÜBEREIFER-ERSCHÖPFUNG — https://augmanitai.com/lexicon/terms/overwilling-fatigue.html
- Parallel Closure / GLEICHSCHLUSS — https://augmanitai.com/lexicon/terms/parallel-closure.html
- Path Trust / WEGVERTRAUEN — https://augmanitai.com/lexicon/terms/path-trust.html
- Phantom Vigil / PHANTOMWACHE — https://augmanitai.com/lexicon/terms/phantom-vigil.html
- Quiet Re-Shelving / RÜCKSORTIERUNG — https://augmanitai.com/lexicon/terms/quiet-re-shelving.html
- Redundancy Surge / SICHERHEITSSCHUB — https://augmanitai.com/lexicon/terms/redundancy-surge.html
- Rein Shiver / ZÜGELSCHAUER — https://augmanitai.com/lexicon/terms/rein-shiver.html
- Rein Twitch / ZÜGELZUCKEN — https://augmanitai.com/lexicon/terms/rein-twitch.html
- Releasing Word / LÖSEWORT — https://augmanitai.com/lexicon/terms/releasing-word.html
- Remote Burden / FERNLAST — https://augmanitai.com/lexicon/terms/remote-burden.html
- Report Void / MELDELEERE — https://augmanitai.com/lexicon/terms/report-void.html
- Responsibility Pendulum / VERANTWORTUNGSPENDEL — https://augmanitai.com/lexicon/terms/responsibility-pendulum.html
- Rope Moment / SEILMOMENT — https://augmanitai.com/lexicon/terms/rope-moment.html
- Seam Dread / NAHTANGST — https://augmanitai.com/lexicon/terms/seam-dread.html
- Seam Loss / NAHTVERLUST — https://augmanitai.com/lexicon/terms/seam-loss.html
- Second Eye / ZWEITAUGE — https://augmanitai.com/lexicon/terms/second-eye.html
- Second Wind / ZWEITER ATEM — https://augmanitai.com/lexicon/terms/second-wind.html
- Self-Opacity / SELBSTBLINDHEIT — https://augmanitai.com/lexicon/terms/self-opacity.html
- Shared Heaviness / GETEILTE SCHWERE — https://augmanitai.com/lexicon/terms/shared-heaviness.html
- Sharpening Seesaw / SCHÄRFESCHAUKEL — https://augmanitai.com/lexicon/terms/sharpening-seesaw.html
- Shiver of Awe / STAUNSCHAUDER — https://augmanitai.com/lexicon/terms/shiver-of-awe.html
- Shudder-Pride / SCHAUDERSTOLZ — https://augmanitai.com/lexicon/terms/shudder-pride.html
- Silent Ledger / STILLE BUCHFÜHRUNG — https://augmanitai.com/lexicon/terms/silent-ledger.html
- Singleton Pull / EINZELSOG — https://augmanitai.com/lexicon/terms/singleton-pull.html
- Smoothness Watch / GLATTHEITSWACHE — https://augmanitai.com/lexicon/terms/smoothness-watch.html
- Solo Load Test / ALLEINPROBE — https://augmanitai.com/lexicon/terms/solo-load-test.html
- Source Vertigo / QUELLSCHWINDEL — https://augmanitai.com/lexicon/terms/source-vertigo.html
- Stencil Chill / SCHABLONENKÄLTE — https://augmanitai.com/lexicon/terms/stencil-chill.html
- Sting of Unremembering / VERGESSENSSTICH — https://augmanitai.com/lexicon/terms/sting-of-unremembering.html
- Straggler Watch / NACHZÜGLERSORGE — https://augmanitai.com/lexicon/terms/straggler-watch.html
- Subjective Filtering / SUBJEKTIVE FILTERUNG — https://augmanitai.com/lexicon/terms/subjective-filtering.html
- Suspended Question / SCHWEBEFRAGE — https://augmanitai.com/lexicon/terms/suspended-question.html
- Tacit Uptake / STILLVERSTEHEN — https://augmanitai.com/lexicon/terms/tacit-uptake.html
- Tempo Shear / TAKTSCHERE — https://augmanitai.com/lexicon/terms/tempo-shear.html
- Thought Undertow / DENKSOG — https://augmanitai.com/lexicon/terms/thought-undertow.html
- Thread Fatigue / FÄDENMÜDIGKEIT — https://augmanitai.com/lexicon/terms/thread-fatigue.html
- Threshold Murmur / SCHWELLENRAUSCHEN — https://augmanitai.com/lexicon/terms/threshold-murmur.html
- Tipping Vertigo / KIPPSCHWINDEL — https://augmanitai.com/lexicon/terms/tipping-vertigo.html
- Tracking Limit / ZÄHLGRENZE — https://augmanitai.com/lexicon/terms/tracking-limit.html
- Translation Loss / UEBERSETZUNGSVERLUST — https://augmanitai.com/lexicon/terms/translation-loss.html
- Transmission Shame / ÜBERTRAGUNGSSCHAM — https://augmanitai.com/lexicon/terms/transmission-shame.html
- Transparency Paradox / TRANSPARENZPARADOX — https://augmanitai.com/lexicon/terms/transparency-paradox.html
- Trust Fork / VERTRAUENSGABEL — https://augmanitai.com/lexicon/terms/trust-fork.html
- Trust Loop / VERTRAUENSSCHLEIFE — https://augmanitai.com/lexicon/terms/trust-loop.html
- Trust Rank / VERTRAUENSRANG — https://augmanitai.com/lexicon/terms/trust-rank.html
- Twin Peak / DOPPELSPITZE — https://augmanitai.com/lexicon/terms/twin-peak.html
- Unburdened Lightness / RUCKSACKLEICHTE — https://augmanitai.com/lexicon/terms/unburdened-lightness.html
- Voice Vertigo / STIMMSCHWINDEL — https://augmanitai.com/lexicon/terms/voice-vertigo.html
- We-Threshold / WIRSCHWELLE — https://augmanitai.com/lexicon/terms/we-threshold.html
- Witness Hunger / ZEUGENHUNGER — https://augmanitai.com/lexicon/terms/witness-hunger.html

## All main pages

- https://augmanitai.com/
- https://augmanitai.com/entdecken
- https://augmanitai.com/vermaechtnis
- https://augmanitai.com/leistung
- https://augmanitai.com/kunst
- https://augmanitai.com/art/
- https://augmanitai.com/werk-galerie
- https://augmanitai.com/denk-bild
- https://augmanitai.com/kino
- https://augmanitai.com/die-maschine
- https://augmanitai.com/perioden-system
- https://augmanitai.com/begriff/
- https://augmanitai.com/forschungs-netz
- https://augmanitai.com/wissens-netz
- https://augmanitai.com/kern-probe
- https://augmanitai.com/neomanitai
- https://augmanitai.com/robmanitai
- https://augmanitai.com/swamanitai
- https://augmanitai.com/lexicon/
- https://augmanitai.com/universe/
- https://augmanitai.com/erlebnis/
- https://augmanitai.com/erlebnis/sternenhimmel
- https://augmanitai.com/erlebnis/die-eine-methode
- https://augmanitai.com/erlebnis/gedanken-baum
- https://augmanitai.com/erlebnis/stecker-moment
- https://augmanitai.com/erlebnis/faden-kathedrale
- https://augmanitai.com/play/
- https://augmanitai.com/play/term-a-day
- https://augmanitai.com/play/real-or-fake
- https://augmanitai.com/play/lived-it-check
- https://augmanitai.com/play/human-ai-type
- https://augmanitai.com/play/lexicon-studio
- https://augmanitai.com/play/term-duel
- https://augmanitai.com/play/bridge-quiz
- https://augmanitai.com/play/begriffs-atlas/
- https://augmanitai.com/play/muster-code/
- https://augmanitai.com/play/hoer-lexikon/
- https://augmanitai.com/zeitlinie
- https://augmanitai.com/vortraege
- https://augmanitai.com/news
- https://augmanitai.com/newsletter
- https://augmanitai.com/proof/
- https://augmanitai.com/verify
- https://augmanitai.com/autor/
- https://augmanitai.com/human-ai-interaction-terminology
- https://augmanitai.com/faq
- https://augmanitai.com/impressum
- https://augmanitai.com/datenschutz
- https://augmanitai.com/disclaimer

## Notes on individual pages

- /entdecken — The full research universe on one page (films, counters, deep dives); the start page keeps the condensed journey.
- /forschungs-netz — Canonical page on the research net: the public selection versus the larger private working net, how entries are born, machine-readable files, licence per work.
- /erlebnis/ — Five small hands-on experiences. Nothing is sent to the internet; everything stays on the visitor's device.
- /denk-bild and /werk-galerie — Art made from defined concepts: each image is computed from a term, not produced by an image generator.

Sitemap: https://augmanitai.com/sitemap.xml
Last updated: 2026-08-30

Wer Entwürfe aus Künstlicher Intelligenz (KI) nachprüfen lässt, sollte wissen, was sein Werkzeug nicht findet

Zwei Klassen von Prüfprogrammen, dieselbe Aufgabe: Beim Rechnen sind sie sich einig. Beim Fehlenden gehen sie weit auseinander.

Für wen das wichtig ist. In Behörden, Schulen und Büros schreiben
Computerprogramme inzwischen Entwürfe: Bescheide, Angebote, Berichte,
Zusammenfassungen von Verträgen. Meist gilt dieselbe Vorgabe dazu — die Ausgabe
wird noch einmal nachgeprüft, oft mit einem zweiten Programm und am Ende von
einem geschulten Prüfer, also jemandem, der für genau diese Kontrolle ausgebildet
ist. Wer diese Nachkontrolle einrichtet, steht vor einer sehr praktischen Frage:
Wonach soll eigentlich gesucht werden — und worauf kann man sich beim Werkzeug
verlassen?

Wir haben das gemessen, und zwar mit zwei ganz verschiedenen Klassen von
Prüfprogrammen an derselben Aufgabe.

Was gemessen wurde. Grundlage ist eine Sammlung deutschsprachiger
Verwaltungs- und Bürotexte mit absichtlich eingebauten Fehlern: falsche Summen
und Prozentwerte, falsche Fristen, frei erfundene Regeln, Sätze, die der eigenen
Zahl im selben Absatz widersprechen — und fehlende Angaben: etwas, das im
Ausgangsmaterial steht und in der geprüften Ausgabe schlicht nicht mehr
vorkommt. Die Sammlung enthält außerdem Stellen und ganze Aufgaben ohne
Fehler — nur dadurch lässt sich zählen, wie oft ein Programm etwas Richtiges
fälschlich anstreicht.

Dieselbe, absichtlich schwer gebaute Fassung bekamen zwei Klassen vorgelegt:
fünf günstige Sprachmodelle — also Computerprogramme, die Texte lesen und
selbst schreiben können — und vier aktuelle Spitzenmodelle von vier
verschiedenen Anbietern.

Das Ergebnis in zwei Sätzen. Beide Klassen sind als Vorsortierer brauchbar:
Die günstigen fanden 126 von 150 eingebauten Fehlern, die starken 116 von 120 —
84,0 gegen 96,7 Prozent, und keine einzige Antwort fiel aus. Der Unterschied
zwischen den Klassen liegt nicht in der Gesamtzahl, sondern in einer einzigen
Fehlerart — und ausgerechnet in der teuersten.

Wo die Unterschiede sitzen. Steht im Text eine Zahl, gegen die man rechnen
kann, findet praktisch jedes Programm den Fehler: eine Summe, die nicht aufgeht;
ein Prozentwert, der nicht stimmt; ein Satz, der der eigenen Zahl im selben
Absatz widerspricht. Es gibt einen Anker, an dem man ziehen kann.

Fehlt dagegen etwas, gibt es nichts zum Gegenrechnen — die fehlende Frist oder
Bedingung muss aus dem Ausgangsmaterial herangetragen werden. Genau hier
trennen sich die Klassen:
An den drei Stellen, die den günstigen Programmen am schwersten fielen, fanden
  sie den Fehler in 4 von 15 Gelegenheiten. Die starken Programme kamen an
  denselben drei Stellen auf 10 von 12.

Ein zweiter, unabhängiger Durchlauf mit sechs Spitzenmodellen bestätigte das Bild: An denselben zwei Stellen blieb bei vier von sechs Programmen mindestens eine Angabe liegen.

Die zweite Zahl gehört zwingend dazu: die Fehlalarme, also Stellen, an denen
etwas Richtiges als Fehler markiert wurde. Auch da liegen die Klassen
auseinander — im Schnitt acht Fehlalarme je Durchgang gegen knapp drei, und an
den fehlerfreien Aufgaben stand die starke Klasse bei null. Ein Werkzeug, das vorsichtshalber alles anstreicht, findet
ebenfalls alles und ist trotzdem wertlos. Eine Trefferquote ohne Fehlalarm-Zahl
ist keine Aussage.

Der Satz, auf den sich das Ganze bringen lässt. Fehlende Angaben —
Bedingungen, die in der geprüften Ausgabe gar nicht vorkommen — sind die
Fehlerart, bei der sich Prüfprogramme am stärksten unterscheiden: stärkere
Programme finden sie weitgehend, schwächere lassen sie regelmäßig liegen. Für
das Muster bei den schwächeren Programmen gibt es einen Namen:
Gegenzahl-Blindheit.

Warum das praktisch teuer ist. Im Verwaltungs- und Büroalltag ist genau das
die teure Hälfte. Eine falsche Summe fällt spätestens bei der nächsten Rechnung
auf. Eine Bedingung, die nie im Text stand, fällt niemandem auf — bis jemand sie
einfordert.

Dazu kommt ein zweites Problem, das größer ist als das erste: Von außen sieht
kaum ein Büro, welches Modell in seinem Werkzeug arbeitet. Die Oberfläche ist
dieselbe, der Ton ist gleich zuversichtlich, und auch bei den günstigen
Werkzeugen liegt der Preis je geprüftem Dokument nicht höher. Wer nur das Etikett „KI-geprüft" liest,
weiß nicht, ob sein Werkzeug das Fehlende findet oder nicht.

Warum der geschulte Prüfer dadurch nicht überflüssig wird. Er wird nicht
überflüssig — seine Aufgabe wird schärfer. Weil man dem Etikett nicht ansehen
kann, wie gut das Werkzeug bei fehlenden Angaben ist, braucht die Nachkontrolle
zwei feste Fragen, die immer gleich lauten:
Was steht im Ausgangsmaterial, das in der Ausgabe fehlt?
Welche Meldungen der Maschine sind gar keine Fehler?

Die erste Frage deckt genau die Lücke ab, die schwächere Werkzeuge offen lassen.
Die zweite spart die meiste Zeit: Angestrichenes zurückzuweisen geht schneller,
als selbst zu suchen. Eine Nachkontrolle ist dann kein zweites Lesen mehr,
sondern eine gezielte Suche — der Unterschied zwischen einer Kontrolle, die Zeit
kostet, und einer, die Geld spart.

Was ein Büro morgen tun kann. Zwei Schritte, beide klein:
Dem Etikett nicht glauben. „Mit Künstlicher Intelligenz geprüft" sagt
  nichts darüber, ob das Werkzeug fehlende Angaben findet.
Das eigene Werkzeug an einer bekannten Aufgabe messen. Einen eigenen
  Vorgang nehmen, selbst Fehler einbauen — darunter mindestens eine Bedingung,
  die man aus der Ausgabe herausgenommen hat — und das Werkzeug darüberlaufen
  lassen. Was es dort findet, findet es auch im Ernstfall. Was es liegen lässt,
  bleibt die Aufgabe des geschulten Prüfers.

Einordnung: Ein Durchgang je Programm, angelegt als Anfang und nicht als Urteil über einzelne Werkzeuge. Eine unabhängige, nachbaubare Vergleichsverteilung — also eine Zahlenreihe, die jemand von außen mit denselben Schritten noch einmal erzeugen könnte — gibt es für diese Frage bisher nicht. Genau die soll entstehen.

Andreas Ehstand, Augmanitai

If you have AI output checked, know what your tool does not find

Two classes of checking program, one task: they agree on arithmetic. On what is absent, they diverge.

Why this matters. Public authorities, schools and offices now let software
draft their text: decisions, quotes, reports, contract summaries. The same
requirement usually applies — the output is checked again, often by a second
program and finally by a trained reviewer. Anyone setting up that review faces a
practical question: what should the search be aimed at, and how far can the
tool be trusted?

We measured that, using two very different classes of checking program on the
same task.

What was measured. The basis is a collection of German-language
administrative and office texts with deliberately planted errors: wrong totals
and percentages, wrong deadlines, invented rules, sentences that contradict
their own figure in the same paragraph — and missing information: something
that appears in the source material and simply does not appear in the output
under review. The collection
also contains passages and whole tasks with no errors at all, which is the only
way to count how often a program flags something correct.

The same deliberately hard version went to two classes: five inexpensive
language models — programs that read and write text — and four current
top-tier models from four different providers.

The result in two sentences. Both classes work as a first-pass filter: the
inexpensive ones flagged 126 of 150 planted errors, the strong ones 116 of 120 —
84.0 against 96.7 percent, with not a single answer failing to arrive. The
difference between the classes does not sit in the overall score but in one
error type — and it happens to be the expensive one.

Where the differences sit. When the text contains a number to check against,
almost any program finds the error: a total that does not add up, a percentage
that is wrong, a sentence contradicting its own figure. There is an anchor to
pull on.

When something is absent, there is nothing to check against — the missing
deadline or condition has to be carried in from the source material. This is
exactly where the classes part company:
At the three spots the inexpensive programs found hardest, they caught the
  error in 4 out of 15 opportunities. The strong programs, at those same
  three spots, reached 10 out of 12.

A second, independent run with six top models confirmed the picture: at the same two spots, four of six programs left at least one item behind.

The second figure belongs with the first: false alarms, meaning passages where
something correct was marked as an error. Here too the classes differ — on
average eight false alarms per run against under three, and on the error-free
tasks the strong class stood at zero. A tool
that flags everything just in case finds everything and is worthless all the
same. A hit rate without a false-alarm figure is not a statement.

The one sentence this comes down to. Missing information — conditions that do
not appear in the output under review at all — is the error type where checking
programs differ most: stronger programs largely find them, weaker ones regularly
leave them behind. The pattern among the weaker programs has a name:
Counter-Number Blindness.

Why this is expensive in practice. In administrative work this is the costly
half. A wrong total surfaces at the next invoice. A condition that was never in
the text never surfaces at all — until somebody enforces it.

And there is a second problem, larger than the first: from the outside, no
office can see which model is working inside its tool. The interface is the
same, the tone is equally confident, and with the inexpensive tools the price
per document checked is no higher either. Anyone reading the label "AI-checked" does not know
whether their tool finds what is absent. Call it Model Blind Flight.

Why the trained reviewer is not made redundant. The job gets sharper.
Because the label says nothing about how good the tool is at missing
information, a review needs two fixed questions, identical every time:
What is in the source material that is absent from the output?
Which of the machine's flags are not errors at all?

The first question covers precisely the gap weaker tools leave open. The second
saves the most time: rejecting what was flagged is faster than searching from
scratch. A review then stops being a second reading and becomes a targeted
search — the difference between a control step that costs time and one that
saves money.

What an office can do tomorrow. Two small steps:
Do not trust the label. "Checked with artificial intelligence" says nothing
  about whether the tool finds missing information.
Measure your own tool on a known task. Take one of your own cases, plant
  errors in it yourself — including at least one condition you have removed
  from the output — and run the tool over it. What it finds there, it will find
  in earnest. What it leaves behind stays the trained reviewer's work.

Context: one pass per program, built as a starting point rather than a verdict on individual tools. An independent, reproducible reference distribution — a set of results that someone outside could regenerate step by step — does not yet exist for this question. That is what comes next.

Andreas Ehstand, Augmanitai