Zurück zum Blog

KI in der Praxis

Es ist nichts schiefgegangen

Von AIPathTech Editorial · 16. November 2026 · 3 Min. Lesezeit

Ein Fehler meldet sich. Eine Unterlassung sieht genau wie Erfolg aus.

Das meiste, was als KI-Sicherheit verkauft wird, schützt Sie davor, dass ein Agent etwas falsch macht. Viel weniger Aufmerksamkeit bekommt der Agent, der nichts falsch macht und trotzdem das falsche Ergebnis liefert. Der zweite Fall ist schwieriger, er ist häufiger, und er ist der Grund, warum die menschliche Ebene keine Formalität ist.

Eine Karte ging in der falschen Farbe hinaus

Eine Kundin veröffentlicht auf einem sozialen Raster, in dem sich die Bilder abwechseln: hell, dunkel, hell, dunkel. Es steht geschrieben. Es ist Regel acht in ihren eigenen Hausregeln, mit einer Tabelle darunter, die festhält, was zuletzt kam.

Diese Datei wurde am Morgen des dreizehnten November gelesen, von dem Agenten, der die Arbeit gemacht hat.

Am selben Abend erzeugte der Agent eine helle Karte. Sie wurde veröffentlicht. Der ganze Beitrag musste gelöscht und neu gemacht werden.

Nichts ist fehlgeschlagen

Das ist der Teil, bei dem es sich lohnt, kurz zu bleiben.

Es wurde keine Ausnahme geworfen. Keine Validierung hat etwas abgelehnt. Kein Monitor hatte etwas zu melden, weil alles Überwachte gesund war. Der Kartengenerator lief korrekt. Die Datei wurde korrekt geschrieben. Das Deployment war erfolgreich.

Die Anweisung existierte, war richtig und war neun Stunden vorher gelesen worden.

Es gab keinen Fehler, den man hätte erkennen können. Es gab eine Abwesenheit, und eine Abwesenheit erzeugt kein Signal.

Ein Fehler meldet sich. Eine Unterlassung sieht genau wie Erfolg aus.

Warum das strukturell ist und nicht nachlässig

In einer langen agentischen Sitzung ist Aufmerksamkeit endlich. Eine Regel, die vor vierzig Werkzeugaufrufen gelesen wurde, ist nicht mehr im Raum, wenn sie nichts zurückholt. Das ist kein Defekt eines Modells oder eines Produkts. Das passiert, wenn ein System einen großen Kontext und eine lange Aufgabe hat.

Die Antwort der Branche darauf lautet: mehr Anweisungen schreiben. Mehr Regeln in den Prompt, mehr in die Datei, mehr in den Speicher. Diese Antwort ist naheliegend und sie funktioniert nicht, denn das Problem war nie, dass die Regel fehlte. Die Regel war da. Lesen ist keine Durchsetzung.

Was es tatsächlich gefunden hat

Ein Mensch. Jemand, der wusste, wie das Raster aussehen soll, der den neuen Beitrag neben dem alten gesehen hat und sofort wusste, dass er falsch war.

Es gab keine automatische Prüfung, die das hätte finden können, und, was wichtiger ist, in dieser Form war keine automatische Prüfung möglich. Um es zu finden, muss man wissen, wie die letzte Karte aussah, und das steht nicht im Code, nicht im Repository und in keinem Log. Es steht im veröffentlichten Raster und im Kopf der Person, die es führt.

Was danach gebaut wurde

Keine weitere Regel. Ein Tor: ein Skript, das die Hausregeln liest, den Eintrag der letzten Karte findet und die Farbe ausgibt, die die nächste haben muss, bevor irgendetwas erzeugt wird.

Eine Regel ist ein Rat an den, der gerade aufpasst. Ein Tor ist ein Schritt, den man nicht überspringen kann, und es verfällt nicht über eine lange Sitzung, weil es nicht davon abhängt, dass sich jemand erinnert.

Wenn Sie Automatisierung einkaufen, fragen Sie das hier

Fragen Sie, was passiert, wenn der Agent nichts falsch macht.

Jeder Anbieter kann Ihnen erklären, wie sein System mit einem Fehler umgeht. Fragen Sie, wie es mit einer Unterlassung umgeht. Fragen Sie, was einen übersprungenen Schritt erkennt, eine Regel, nach der nie gegriffen wurde, eine Prüfung, die nie gelaufen ist. Fragen Sie, wie das Log aussieht, wenn die Arbeit korrekt erledigt wurde und das Ergebnis trotzdem falsch ist.

Wenn die Antwort lautet, dass ein Mensch das Ergebnis prüft, ist das kein Mangel, und es lohnt sich, das einmal klar auszusprechen: ein Mensch, der das Ergebnis prüft, ist die Kontrolle. Die ehrliche Frage ist, ob dieser Mensch die Information und die Befugnis bekommen hat, es zu stoppen, oder ob von ihm verlangt wird, etwas zu bemerken, das niemand festgehalten hat.

Ein Agent, der jede Anweisung befolgt hat, die er bekommen hat, ist nicht dasselbe wie ein Agent, der das Richtige getan hat. Der Abstand zwischen diesen beiden ist der Ort, an dem die menschliche Ebene lebt, und er wird nicht kleiner, wenn die Modelle besser werden. Er verschiebt sich.

MK!

AIPathTech Editorial

Auf dieser Seite gibt es kein Tracking. Keine Analyse, keine Cookies, nichts, das aufzeichnet, wo Sie waren oder wie lange Sie geblieben sind.

Aber ich würde gerne wissen, ob hier etwas Ihre Zeit wert war. Wenn ja, drücken Sie das Herz. Es verrät mir nichts über Sie. Es ist eine Zahl, die steigt, und sie ist der Grund, warum ich weiterschreibe.

Diesen Artikel teilen

XLinkedIn

Wenn Sie mehr davon möchten, finden Sie mich auf X. @Queendemetriak