Sicherheit & EinsatzSecurity & operations
Menschen, KI und Schwärme – verlässlich, wenn es darauf ankommtPeople, AI and swarms – reliable when it counts
Maschinen, Drohnen und KI übernehmen immer mehr Aufgaben – in Leitstellen, bei Rettungseinsätzen, in Industrie und Sicherheit. Hier wird erforscht, wie Menschen sie verlässlich führen, prüfen und kontrollieren – und wie Mensch und Maschine zusammen mehr leisten.Machines, drones and AI are taking on more and more tasks – in control rooms, rescue operations, industry and security. This research explores how people lead, test and control them reliably – and how humans and machines achieve more together.
Was würden Sie tun? Ausprobieren ↓What would you do? Try it ↓KI-Systeme entscheiden und handeln immer selbstständiger. Sicher wird das erst, wenn sich prüfen lässt, ob ein Mensch wirklich hingeschaut hat – und ob die KI tut, was sie soll.AI systems decide and act more and more on their own. That only becomes safe when you can check whether a person really looked – and whether the AI does what it should.
Neu seit 4. Oktober 2026 – eingebaut auf Anregung eines Lesers.New since 4 October 2026 – added at a reader’s suggestion.
Vier Fragen, an denen Sicherheit hängtFour questions security depends on
Hat wirklich ein Mensch geprüft?Did a person really check?
Ein Test mit absichtlich eingebauten Fehlern zeigt, ob die Kontrolle durch den Menschen die Fehler der Maschine noch findet – auch das, was im Ergebnis fehlt.A test with deliberately planted errors shows whether human review still catches the machine’s mistakes – including what is missing from its output.
Messbare menschliche AufsichtMeasurable human oversight →Besteht die KI eine Prüfung, deren Regeln vorher feststehen?Does the AI pass a test whose rules are fixed in advance?
Ein KI-Modell kann auch durchfallen – nach Regeln, die vor dem Test festgelegt sind. So wird aus Eindruck ein Ergebnis.An AI model can also fail – by rules set before the test. That turns an impression into a result.
Bestehens-PrüfungPass-or-fail test →Stimmt die Arbeit noch, wenn das Modell dahinter wechselt?Does the work still hold when the model behind it changes?
Anbieter tauschen KI-Modelle oft still aus. Die Prüfung zeigt, ob ein Ergebnis danach noch trägt.Providers often swap AI models quietly. The check shows whether a result still holds afterwards.
Modellwechsel-PrüfungModel-change check →Hält sich die KI an feste Regeln?Does the AI keep to fixed rules?
Ein schriftliches Regelwerk mit Verboten, Pflicht-Prüfungen und einer laufend ergänzten Fehler-Liste – zum Teil automatisch geprüft.A written rulebook with prohibitions, mandatory checks and a continually extended list of errors – partly checked automatically.
Persönliche KI-VerfassungPersonal AI constitution →
Mensch und Maschine, wenn es darauf ankommtHumans and machines when it counts
Für alle, die Maschinen bauen, betreiben oder zulassen: Menschliche Aufsicht ist vorgeschrieben – in der KI-Verordnung der EU zum Beispiel in Artikel 14. Ob ein Mensch sie im entscheidenden Moment wirklich leisten kann, misst kaum jemand. Genau darum geht es hier.For everyone who builds, operates or approves machines: human oversight is required – in the EU AI Act, for example, in Article 14. Whether a person can actually exercise it in the decisive moment is rarely measured. That is what this research is about.
Die KI meldet: Störung im Stromnetz, Abschalten empfohlen. Sie haben zwei Minuten.The AI reports: fault in the power grid, shutdown recommended. You have two minutes.
Was würden Sie tun?What would you do?
Schnell – aber Sie verlassen sich ganz auf die Meldung. War sie falsch, steht eine Stadt im Dunkeln. Hier setzt die Frage nach dem richtigen Maß an Vertrauen an.Fast – but you rely entirely on the alert. If it was wrong, a city goes dark. This is where the question of the right level of trust begins.
Gründlich – aber die Zeit läuft. Untersucht wird, welche eine Rückfrage an die Maschine in zwei Minuten am meisten verrät.Thorough – but the clock is running. The research asks which single question to the machine reveals the most within two minutes.
Auch das ist eine Entscheidung. War die Meldung echt, wird der Schaden größer. Wann ist Abwarten Urteil – und wann Überforderung?That is a decision too. If the alert was real, the damage grows. When is waiting judgement – and when is it overload?
Es gibt kein Richtig oder Falsch. Das Beispiel ist erfunden.There is no right or wrong. The example is invented.
- Wann greift der Mensch ein?When does the human step in?
Eine KI meldet eine Störung im Stromnetz. Der Mensch hat zwei Minuten. Folgt er der Meldung, prüft er nach oder stoppt er? Hier wird genau dieser Moment beschrieben.An AI reports a fault in the power grid. The person has two minutes. Follow the alert, check it, or stop? This research describes exactly that moment.
- Die GegenprobeThe counter-test
Ein eigenes Team versucht absichtlich, die KI zu täuschen – mit falschen Daten oder geschickten Fragen. Was es findet, wird behoben, bevor andere es ausnutzen.A dedicated team deliberately tries to fool the AI – with false data or cleverly framed questions. Whatever it finds is fixed before anyone else can exploit it.
- Zu viel Vertrauen, zu wenig VertrauenToo much trust, too little trust
Wer der Maschine blind glaubt, übersieht Fehler. Wer ihr nie glaubt, verliert Zeit. Gesucht ist das richtige Maß – und ein Weg, es zu prüfen.Trust the machine blindly and you miss its errors. Never trust it and you lose time. The aim is the right measure – and a way to test it.
- Wer trägt die Verantwortung?Who is responsible?
Wenn etwas schiefgeht: der Mensch, der entschieden hat, der Hersteller oder die Regel? Klare Worte dafür schützen alle Beteiligten.When something goes wrong: the person who decided, the maker, or the rule? Clear words for this protect everyone involved.
Leistung unter Druck – was Spitzensport darüber weißPerformance under pressure – what elite sport knows about it
Wer hier forscht, trainiert seit über 25 Jahren Leistungssportler – bis in die Tennis-Bundesliga. Entscheiden in Sekundenbruchteilen, mit müden Beinen und vielen Augen auf sich, ist dort Alltag. Diese Erfahrung wird hier auf Teams aus Menschen, KI und Maschinen übertragen.The researcher behind this work has trained competitive athletes for more than 25 years – up to Germany's top tennis league. Deciding in split seconds, with tired legs and many eyes watching, is everyday life there. This experience is transferred here to teams of people, AI and machines.
- Druck dosiert übenPractising pressure in doses
Wer den Ernstfall nie geübt hat, erlebt ihn als Schock. Gutes Training steigert den Druck Schritt für Schritt – bis er vertraut ist.Anyone who has never practised the emergency experiences it as a shock. Good training raises the pressure step by step – until it feels familiar.
- Entscheiden trotz ErschöpfungDeciding despite fatigue
Gute Entscheidungen am Ende eines langen Tages lassen sich trainieren – wenn man weiß, welche zuerst schlechter werden.Good decisions at the end of a long day can be trained – once you know which ones deteriorate first.
- Die ehrliche NachbesprechungThe honest debrief
Nach jedem Einsatz: Was war geplant, was ist passiert, was ändern wir? Kurz, ohne Schuldzuweisung – und mit Folgen.After every operation: what was planned, what happened, what do we change? Brief, without blame – and with consequences.
- Training mit Maschinen im TeamTraining with machines as teammates
Wer mit Robotern, Drohnen oder KI arbeitet, muss mit ihnen üben – gerade die Momente, in denen sie versagen.Anyone working with robots, drones or AI has to practise with them – especially the moments when they fail.
- Messen statt schätzenMeasuring instead of guessing
Leistung unter Druck lässt sich beobachten und vergleichen. Erst dann sieht man, ob ein Training wirkt.Performance under pressure can be observed and compared. Only then can you see whether training works.
- Erfahrung weitergebenPassing on experience
Was die Besten im entscheidenden Moment tun, steckt oft nur in ihrem Kopf. Es lässt sich festhalten und an die Nächsten weitergeben.What the best do in the decisive moment often lives only in their heads. It can be captured and handed on to the next people.
Wer hier forscht →Who is behind this research →
Mehr leisten – durch und mit Schwärmen und KIAchieving more – through and with swarms and AI
- Mehr Augen zugleichMore eyes at once
Ein Schwarm sieht an vielen Orten gleichzeitig. Der Mensch entscheidet mit einem Lagebild, das kein Einzelner hätte.A swarm sees many places at the same time. The person decides with a picture of the situation no individual could have.
- Schneller findenFinding faster
Viele Maschinen teilen sich die Suche. Was einer allein lange suchen müsste, verteilt sich auf viele.Many machines share the search. What one would have to search for a long time is spread across many.
- Ausdauer ohne MüdigkeitEndurance without fatigue
Maschinen wechseln sich ab, der Mensch behält die Führung – auch über lange Einsätze.Machines take turns, the person keeps the lead – even over long operations.
- Aus jedem Einsatz lernenLearning from every operation
Was Mensch und Schwarm erlebt haben, wird festgehalten und macht das nächste Team besser.What people and swarm have experienced is captured and makes the next team better.
Wo das überall giltWhere this applies
- LeitstellenControl rooms
- FeuerwehrFire services
- BergrettungMountain rescue
- SeenotrettungSea rescue
- KatastrophenschutzDisaster response
- StromnetzePower grids
- Häfen und FlughäfenPorts and airports
- GroßveranstaltungenLarge events
Sechs BlickwinkelSix perspectives
- Wer bedientWho operates
Erkennt der Mensch rechtzeitig, wann er eingreifen muss?Does the person recognise in time when to step in?
- Wer bautWho builds
Wie zeigt man, dass ein System Aufsicht durch Menschen wirklich zulässt?How do you show that a system genuinely allows human oversight?
- Wer betreibtWho runs it
Wie viele Maschinen kann ein Team sicher führen – auch nachts, unter Druck, mit Störungen?How many machines can a team lead safely – at night, under pressure, with disruptions?
- Wer zulässtWho approves
Welcher Nachweis reicht, bevor ein System neben Menschen arbeiten darf?What evidence is enough before a system may work alongside people?
- Wer ausbildetWho trains
Wie übt man den seltenen Ernstfall, ohne dass er eintritt?How do you practise the rare emergency without it happening?
- Wer haftetWho is liable
Wer trägt die Verantwortung, wenn Mensch und Maschine verschieden entscheiden?Who carries responsibility when human and machine decide differently?
Fünf Arten, eine Maschine zu täuschen – und was die Gegenprobe prüftFive ways to deceive a machine – and what the counter-test checks
- Falsche DatenFalse data
Die Maschine lernt oder entscheidet auf Grundlage manipulierter Daten.The machine learns or decides on manipulated data.
- Gefälschte SignaleSpoofed signals
Ortung oder Sensoren melden etwas, das nicht stimmt.Positioning or sensors report something that is not true.
- ÜberlastungOverload
So viele Meldungen, dass Mensch oder Maschine das Wichtige übersehen.So many alerts that human or machine miss what matters.
- Geschickte AnweisungenCrafted instructions
Formulierungen, die eine KI dazu bringen, ihre Regeln zu umgehen.Wording that leads an AI to bypass its own rules.
- Druck auf den MenschenPressure on the person
Zeitdruck oder Ablenkung, damit der Mensch einer falschen Meldung folgt.Time pressure or distraction so that the person follows a false alert.
Woran hier gearbeitet wird: an einer Prüfung, die zeigt, ob Menschen die Aufsicht über eine Maschine wirklich leisten – vor dem Einsatz, mit vorher festgelegten Regeln, wiederholbar und auch dann, wenn das KI-Modell dahinter wechselt.What this research is working on: a test that shows whether people can really exercise oversight of a machine – before deployment, with rules fixed in advance, repeatable, and still valid when the AI model behind it changes.
Über diese Forschung sprechenTalk about this research
Häufige FragenFrequently asked
Was ist Red Teaming bei KI?What is red teaming for AI?
Ein eigenes Team versucht absichtlich, eine KI zu täuschen oder zu Fehlern zu bringen. Was es findet, wird behoben, bevor es jemand ausnutzt. Auf Deutsch: die Gegenprobe.A dedicated team deliberately tries to fool an AI or make it fail. Whatever it finds is fixed before anyone can exploit it.
Was bedeutet menschliche Aufsicht über KI?What does human oversight of AI mean?
Ein Mensch kann die KI verstehen, ihre Meldungen prüfen und sie stoppen. Die KI-Verordnung der EU verlangt das für Systeme mit hohem Risiko (Artikel 14).A person can understand the AI, check its outputs and stop it. The EU AI Act requires this for high-risk systems (Article 14).
Wie prüft man, ob menschliche Aufsicht funktioniert?How do you test whether human oversight works?
Mit einer Prüfung vor dem Einsatz: echte Lagen, vorher festgelegte Regeln, wiederholbar. Gemessen wird, ob der Mensch im entscheidenden Moment richtig eingreift.With a test before deployment: realistic situations, rules fixed in advance, repeatable. It measures whether the person steps in correctly at the decisive moment.
Was ist zu viel Vertrauen in Automatik (automation bias)?What is automation bias?
Menschen verlassen sich zu sehr auf eine Maschine und übersehen ihre Fehler. Zu wenig Vertrauen kostet dagegen Zeit. Gesucht ist das richtige Maß.People rely too much on a machine and miss its errors. Too little trust, on the other hand, costs time. The aim is the right measure.
Wie trainiert man Entscheidungen unter Druck?How do you train decision-making under pressure?
Indem man den Druck dosiert steigert, echte Lagen nachstellt und nach jeder Übung ehrlich nachbespricht. Ziel ist, dass sich der Ernstfall vertraut anfühlt.By raising the pressure in doses, recreating realistic situations and debriefing honestly after every exercise. The goal is for the emergency to feel familiar.
Was können Einsatzkräfte vom Spitzensport lernen?What can emergency teams learn from elite sport?
Wie man unter Zeitdruck, Müdigkeit und Beobachtung trotzdem klar entscheidet – und wie man genau das gezielt trainiert und misst.How to decide clearly despite time pressure, fatigue and being watched – and how to train and measure exactly that.
Wie bereitet man Menschen auf die Arbeit mit KI und Robotern vor?How do you prepare people to work with AI and robots?
Durch gemeinsames Üben mit den Maschinen – gerade der Momente, in denen sie Fehler machen. So lernen Menschen, wann sie vertrauen und wann sie eingreifen.By practising together with the machines – especially the moments when they make mistakes. That is how people learn when to trust and when to step in.
Eine gemeinsame Sprache für AufsichtA shared language for oversight
Was genau tut ein Mensch, wenn er eine KI beaufsichtigt? Dafür gibt es jetzt genaue Fachwörter – eingereicht bei der IETF, der Stelle, an der Internet-Standards entstehen (September 2026).What exactly does a person do when overseeing an AI? There are now precise terms for it – submitted to the IETF, the body where Internet standards are developed (September 2026).
Entwurf lesenRead the draft →Warum jetztWhy now
Die europäische KI-Verordnung schreibt für Hochrisiko-KI menschliche Aufsicht vor (Artikel 14). Wie wirksam diese Aufsicht ist, misst bisher kaum jemand. Genau hier setzt die Messung an.The EU AI Act requires human oversight for high-risk AI (Article 14). How effective that oversight is, hardly anyone measures yet. This is exactly where the measurement comes in.
Für alle, die für Ergebnisse von KI geradestehen: Unternehmen, Prüf- und Zertifizierungsstellen, Versicherer und Betreiber wichtiger Dienste.For everyone who answers for the results of AI: companies, testing and certification bodies, insurers and operators of essential services.
Zur MessungSee the measurement → Wo das in der Ordnung stehtWhere this sits in the order →Vertrauliche Anfragen zu Sicherheitsfragen:Confidential enquiries on security: andreas.ehstand@augmanitai.com · Mehr zur PersonAbout the author
Kurz gefragt
Wann ist KI sicher?
Wenn sich prüfen lässt, ob ein Mensch wirklich hingeschaut hat – und ob die KI tut, was sie soll.
Welche Prüfungen gibt es?
Vier: messbare menschliche Aufsicht, eine Bestehens-Prüfung mit vorher festen Regeln, die Modellwechsel-Prüfung und ein schriftliches Regelwerk für die KI.
Warum ist das jetzt wichtig?
Die europäische KI-Verordnung schreibt für Hochrisiko-KI menschliche Aufsicht vor (Artikel 14). Wie wirksam diese Aufsicht ist, misst bisher kaum jemand.
Unabhängige Forschungs-Publikation — über diese Website wird nichts verkauft.Independent research publication — nothing is sold through this website.
Bilder und Videos zur Illustration auf dieser Website sind teils KI-erzeugt und als solche gekennzeichnet.Illustrative images and videos on this site are partly AI-generated and labelled as such.
ImpressumLegal notice · DatenschutzPrivacy · Haftungs-Hinweise (Disclaimer)Disclaimer