Governance

Wo die menschliche Genehmigung bei KI-Agenten sitzen sollte

· Gründer von ETCSEC · aktualisiert am 17. November 2026 · 9 Min.
Illustration eines Roboters, der an einem Prüfpunkt innehält, bevor eine Aktion blockiert wird.
Die kurze Antwort

Setzen Sie das menschliche Genehmigungs-Gate nur bei KI-Agenten-Aktionen mit hoher Tragweite ein, durchgesetzt außerhalb des Agenten selbst, niemals innerhalb eines Prompts, den er kontrolliert. Bevor Sie entscheiden, wer den Rest genehmigt, verkleinern Sie zunächst, was der Agent überhaupt tun kann, und protokollieren Sie dann, wer jede genehmigte Aktion autorisiert hat, besonders die, die sich nicht rückgängig machen lassen.

Alles genehmigen macht Agenten nutzlos; nichts genehmigen ist ein Risiko

Ein CTO, der KI-Agenten einführt, landet meist in einem von zwei Fehlermodi. Verlangt man für jede Aktion eine Genehmigung, sparen die Agenten keine Zeit mehr, weil jemand weiterhin jeden Schritt manuell durchklicken muss. Verlangt man für keine eine Genehmigung, wird ein einziger falscher Tool-Aufruf, eine versehentlich gelöschte Datei, eine Nachricht an den falschen Kunden, ein Merge, das die Prüfung überspringt, zum Problem, das der Agent erst im Nachhinein erklären muss, nicht vorher. Keines der beiden Extreme ist eine Richtlinie; beide sind ein Eingeständnis, dass niemand entschieden hat, wo das Gate sitzen soll.

OWASPs GenAI Security Project nennt das zugrunde liegende Problem Excessive Agency: schädliche Aktionen, die als Reaktion auf eine unerwartete, mehrdeutige oder manipulierte Modellausgabe ausgeführt werden, verwurzelt in übermäßiger Funktionalität, übermäßigen Berechtigungen, oder übermäßiger Autonomie, die dem Agenten eingeraumt wird. Die von OWASP beschriebene Lösung ist kein pauschaler Genehmigungsbildschirm vor jeder Aktion; es geht zuerst darum, zu verringern, was schiefgehen kann, und erst danach nur das zu verriegeln, was übrig bleibt.

Die beiden oben beschriebenen Fehlermodi sind für Agenten, die über MCP verbunden sind, das Protokoll, das die meisten dieser Tools nutzen, um reale Systeme zu erreichen, nicht hypothetisch. Dieselbe Genehmigungsfrage, soll dieser konkrete Aufruf auf eine Person warten, stellt sich für jedes Tool, das ein Agent erreichen kann, nicht nur für das Endergebnis des Agenten, weshalb die Antwort eine Regel sein muss, die Tool für Tool angewendet wird, statt eine einmalige Entscheidung, die beim ersten Einsatz des Agenten getroffen wurde.

Erst verkleinern, was genehmigt werden muss, dann entscheiden, wer genehmigt

OWASP listet das Minimieren von Erweiterungen, das Minimieren der Erweiterungsfunktionalität, das Vermeiden offener Erweiterungen wie eines allgemeinen Shell-Ausführungstools, das Minimieren der Erweiterungsberechtigungen auf das, was das nachgelagerte System tatsächlich braucht, etwa einen reinen Lesezugriff auf eine Datenbank, und das Ausführen jeder Erweiterung im eigenen Kontext des jeweiligen Nutzers mit minimalen Rechten als erste Verteidigungslinien gegen Excessive Agency. Keine dieser Maßnahmen erfordert, dass ein Mensch auf genehmigen klickt; sie entfernen die Aktion, die Berechtigung, oder den Schadensradius, bevor sich die Frage der Genehmigung überhaupt stellt.

Ein Tool, das ein Agent nicht aufrufen kann, braucht kein Genehmigungs-Gate, und eine Datenbankverbindung mit reinem Leserecht kann nicht diejenige sein, die eine Tabelle löscht, egal was ein Genehmigungsbildschirm entscheidet. Atipol wendet dieselbe Reihenfolge im eigenen Berechtigungsmodell an: Ein Sub-Agent hat nie mehr Berechtigungen als der Agent, der an ihn delegiert hat, sodass eine Einschränkung dessen, was der übergeordnete Agent tun kann, auch jeden Sub-Agenten darunter einschränkt.

Übersetzt in die tatsächliche Konfiguration eines Agenten bedeutet das: Ein Agent, der für den bereits auf diesem Blog beschriebenen Ticket-Ablauf eingesetzt wird, erhält eine Begrenzung des Dateiumfangs und nichts, was einem universellen Shell-Tool ähnelt; ein Agent, der Kundenantworten entwirft, erhält eine Sendefunktion, die auf Entwürfe statt auf direkten Versand beschränkt ist; und ein Agent, der eine Datenbank anfasst, erhält genau die Spalten und die Lese- oder Schreibrechte, die die Aufgabe vorgibt, nichts Weiteres aus Bequemlichkeit gewährt.

Das Gate auf Aktionen mit hoher Tragweite legen, durchgesetzt außerhalb des Agenten

Sind unnötige Funktionalität, Berechtigungen und Autonomie erst einmal beseitigt, adressiert OWASPs sechste Abhilfemaßnahme, was übrig bleibt: „Utilise human-in-the-loop control to require a human to approve high-impact actions before they are taken.“ Die Anleitung fügt hinzu, dass diese Kontrolle nachgelagert zum Erweiterungsaufruf oder innerhalb der Erweiterung selbst sitzen kann, und verbindet sie mit einer siebten Abhilfemaßnahme, vollständiger Vermittlung: die Autorisierung jedes Mal im nachgelagerten System durchzusetzen, statt dem eigenen Urteil des Modells darüber zu vertrauen, ob eine Aktion erlaubt ist.

Dieser zweite Punkt zählt operativ. Eine Genehmigungsaufforderung, die der Agent selbst entscheidet anzuzeigen oder nicht, ist kein Gate, da ein manipulierter oder schlicht fehlerhafter Agent die Aufforderung genauso überspringen kann wie jede andere Anweisung. Die Entscheidung, eine Genehmigung zu verlangen, und die Durchsetzung dieser Anforderung müssen in einem System liegen, das der Agent nicht kontrolliert.

OWASP listet außerdem zwei Maßnahmen auf, die den Schaden begrenzen, ohne Excessive Agency von vornherein zu verhindern: das Protokollieren und Überwachen der Erweiterungsaktivität, und das Begrenzen der Rate unerwünschter Aktionen. Beide zählen, aber keine ersetzt das Genehmigungs-Gate selbst; eine gut protokollierte, nicht autorisierte Löschung bleibt eine Löschung, und eine Ratenbegrenzung verlangsamt wiederholten Schaden, ohne den ersten Fall davon zu verhindern.

Wo Teams das Gate tatsächlich platzieren

Atipols Anwendungsfälle zeigen, wo verschiedene Teams dieses Gate platzieren, Aktion für Aktion statt Team für Team.

Was das Gate schützt, unterscheidet sich je nach Bereich, eine Kundenbeziehung, ein laufender Vorfall, eine Codebasis, ein Finanzbericht, aber die Form des Gates ist in jeder Zeile dieselbe: eine Person, nicht diejenige, die die Aktion ausgelöst hat, entscheidet, bevor sie wirksam wird, nicht erst im Nachhinein.

BereichGegattete AktionWer entscheidetUmfang der Genehmigung
KundensupportEine Antwort an einen Kunden sendenDie Person, die den Versand genehmigtDiese konkrete Nachricht, einmal
SicherheitsbetriebEinen Vorfall eindämmenDer AnalystDieser konkrete Aufruf, einmal
SoftwareentwicklungEine Pull Request mergenEin anderer Prüfer als der AnforderndeDieser konkrete Aufruf, vor dem Merge
ObservabilityEinen Überwachungsvorfall öffnenDer GenehmigerDieser konkrete Aufruf
Content-VeröffentlichungIm CMS veröffentlichenDie Person, die über MCP genehmigtÜber die MCP-Genehmigung geleitet
FinanzberichterstattungEinen Bericht freigebenDer CEO oder der CFODieser konkrete Bericht

Ein Aufruf, eine Entscheidung, niemals ein pauschales Ja

Ein Gate, das nach der ersten Genehmigung offen bleibt, ist kein Gate. Atipol setzt die Regel als Umfangsgrenze durch: Die menschliche Genehmigung wird für einen konkreten Aufruf erteilt, einmal, und jedes Tool trägt einen von drei Berechtigungszuständen, erlaubt, genehmigungspflichtig, oder verweigert, jeweils pro Tool festgelegt. Ist ein Tool auf genehmigungspflichtig gesetzt, wartet der Aufruf auf die Entscheidung einer Person; wird er verweigert, wird der Aufruf abgelehnt und protokolliert, statt still erneut versucht zu werden.

Dasselbe Modell wird bei größerem Umfang nur strenger, nie lockerer: Ein Workspace kann von offen über nur Katalog bis zu verpflichtender Genehmigung wechseln, aber eine Regel auf Workspace-Ebene kann nicht durch die Konfiguration eines einzelnen Agenten gelockert werden. Eine Anfrage außerhalb des genehmigten Katalogs wird von einem Administrator entschieden und protokolliert, was die Ausnahme sichtbar hält, statt sie zu einem stillen Standard werden zu lassen.

Diese drei Zustände gelten unabhängig davon, welches Team den Agenten konfiguriert hat, auf dieselbe Weise: Die Sendefunktion eines Support-Agenten, die Eindämmungsaktion eines SOC-Agenten, und die Berichtsübermittlung eines Finanz-Agenten tragen jeweils ihre eigene Einstellung erlaubt, genehmigungspflichtig, oder verweigert, statt einer einzigen Genehmigungseinstellung für den gesamten Agenten. Das Ändern des Zustands eines einzelnen Tools berührt kein anderes Tool, das derselbe Agent aufrufen kann.

Der Prüfer ist nie der Anfordernde, und nie der Agent selbst

Dieselbe Trennung, die für die Prüfung eines Tickets gilt, gilt direkt auch für Genehmigungs-Gates: Die Person, die die Arbeit angefordert hat, sollte nicht diejenige sein, die sie genehmigt. Atipol wendet die Regel ohne Ausnahme auf beiden Seiten der Anfrage an: Kein Agent, ob menschlich oder künstlich, genehmigt seine eigene Lieferung, und der Mensch behält die endgültige Entscheidung über jede Genehmigung.

In der Praxis bedeutet das: Ein Agent kann keinen Bericht erstellen und ihn zugleich freigeben, und ein Entwickler, der ein Ticket einem Agenten zugewiesen hat, kann nicht der erforderliche Prüfer sein, der die resultierende Änderung genehmigt, dieselbe Einschränkung, die für die Pull Requests von GitHubs eigenem Coding-Agenten dokumentiert ist. Rollenbasierte Tool-Profile gehen noch weiter: Jede Rolle erhält ihre eigene Liste erlaubter Tools, mit expliziter menschlicher Genehmigung vor jeder sensiblen oder irreversiblen Aktion, statt eines einzigen pauschalen Genehmigers für das gesamte Team.

Dieselbe Regel erreicht auch Sub-Agenten. Da ein Sub-Agent nie mehr Berechtigungen hat als der Agent, der an ihn delegiert hat, kann eine Genehmigungsanforderung, die auf eine sensible Aktion des übergeordneten Agenten gelegt wurde, nicht umgangen werden, indem ein Sub-Agent dieselbe Aktion unter einer enger gefassten Aufgabenbeschreibung ausführt; die Berechtigungsobergrenze, und das dazugehörige Genehmigungs-Gate, wandern die gesamte Delegationskette hinab.

Eine Genehmigung ohne Aufzeichnung ist keine Aufsicht

Eine Genehmigung, die nicht schriftlich festgehalten wird, ist sechs Monate später nicht von einer fehlenden Genehmigung zu unterscheiden. Atipols Audit-Protokoll ist konkret darin, was es zeigt: wer eine Aktion autorisiert hat, nicht nur, dass sie stattgefunden hat, und bei einer irreversiblen Aktion wie Veröffentlichen oder Löschen die explizite menschliche Genehmigung, die ihr vorausging, zusammen mit der Aktion selbst festgehalten.

Regulierungsbehörden bewegen sich für Systeme, die sie als hochriskant einstufen, in dieselbe Richtung. Die eigene Beschreibung des AI Act durch die Europäische Kommission, zuletzt aktualisiert am 19. Oktober 2026, listet angemessene Maßnahmen zur menschlichen Aufsicht unter den Pflichten, die für Hochrisiko-KI-Systeme gelten, und besagt, dass Betreiber, sobald ein solches System auf den Markt kommt, während der gesamten Nutzung für menschliche Aufsicht und Überwachung sorgen müssen, nicht nur beim Einsatz.

Das NIST AI Risk Management Framework (AI RMF 1.0, veröffentlicht am 26. Januar 2023) fasst dies auf einer höheren Ebene: Es soll Organisationen helfen, Vertrauenswürdigkeitserwägungen in Design, Entwicklung, Nutzung und Bewertung von KI-Systemen einzubeziehen, was einschließt, wer genehmigen darf, was ein Agent tut, nicht nur, was der Agent hervorbringt.

Das in einem Team verankern

Nichts davon erfordert, von Grund auf Aktion für Aktion zu entscheiden. Beginnen Sie damit, Funktionalität, Berechtigungen und Autonomie zu entfernen, die der Agent nicht braucht, gemäß OWASPs ersten Abhilfemaßnahmen; setzen Sie die verbleibenden Tools auf einen von drei Zuständen, erlaubt, genehmigungspflichtig, oder verweigert; benennen Sie für jedes Gate einen Prüfer, der nie der Anfordernde und nie der Agent ist; und protokollieren Sie, wer was genehmigt hat, wobei irreversible Aktionen ihre Genehmigung in der Aufzeichnung mit sich tragen.

Die vier Schritte oben ergeben eine einzige, wiederholbare Abfolge:

UmfangverkleinernRisikoreicheAufrufe gatenUnabhängigerPrüferGenehmigungprotokollierenUmfang verkleinernRisikoreiche Aufrufe gatenUnabhängiger PrüferGenehmigung protokollieren

Ein nützlicher Test, ob das Gate am richtigen Platz sitzt: Entfernen Sie den Genehmigungsschritt und fragen Sie, wie das schlimmste Ergebnis aussieht. Lautet die Antwort ein paar Minuten Nacharbeit, war die Aktion wahrscheinlich nie wirkungsvoll genug, um einen Menschen zu brauchen. Lautet die Antwort ein falsch freigegebener Bericht, eine verschwundene Datenbanktabelle, oder eine Nachricht, die ein Kunde nie hätte erhalten sollen, gehört das Gate genau dorthin, wo OWASP und Atipol es platzieren: vor der Aktion, durchgesetzt außerhalb des Agenten, und danach festgehalten.

Die Sicherheitspraktiken hinter diesem Modell, einschließlich Tool-Allowlists pro Agent, Geheimnisse außerhalb von Prompts, und die Prüfung eines MCP-Servers vor dem Verbinden, sind unter atipol.ai/agentic-ai-blog/mcp-security dargelegt. Das Governance-Rahmenwerk rund um Rollen, die Nutzungsrichtlinie, und wo die Prüfung vor einer Zusammenführung sitzen muss, wird unter atipol.ai/agentic-ai-blog/ai-agent-governance behandelt.

Um diese Berechtigungszustände, Genehmigungs-Gates, und das Audit-Protokoll über ein ganzes Team von Agenten hinweg angewendet zu sehen, führt der Sicherheitsbereich des Produkts unter atipol.ai/security durch das Einstellen eines Tools auf erlaubt, genehmigungspflichtig, oder verweigert, und zeigt, was protokolliert wird, wenn eine Person einen Aufruf genehmigt oder verweigert.

Häufige Fragen

Welche Aktionen eines KI-Agenten brauchen eine menschliche Genehmigung und welche nicht?

OWASPs Anleitung zu Excessive Agency verweist auf Aktionen mit hoher Tragweite, solche, bei denen ein falscher Aufruf teuer oder schwer rückgängig zu machen ist, etwa Veröffentlichen, Löschen, Mergen, oder das Senden an einen Kunden. Aktionen mit geringerer Tragweite werden besser behandelt, indem die Funktionalität, die Berechtigungen und die Autonomie des Agenten verkleinert werden, sodass von vornherein weniger davon existieren, statt jede einzelne zu genehmigen.

Können der Agent oder die Person, die die Aktion angefordert hat, sie selbst genehmigen?

Nein. Atipol wendet die Regel an, dass kein Agent, ob menschlich oder künstlich, seine eigene Lieferung genehmigt, und dass die Person, die die Arbeit angefordert hat, nicht diejenige sein sollte, die sie genehmigt, dieselbe Regel unabhängiger Prüfung, die für die Pull Requests von GitHubs Copilot-Coding-Agenten dokumentiert ist.

Was sollte protokolliert werden, wenn ein Mensch die Aktion eines Agenten genehmigt oder verweigert?

Das Protokoll sollte zeigen, wer die Aktion autorisiert hat, nicht nur, dass sie stattgefunden hat, und bei einer irreversiblen Aktion wie Veröffentlichen oder Löschen die explizite Genehmigung, die ihr vorausging, zusammen mit der Aktion in der Audit-Spur festgehalten.

Quellen

Testen Sie es an einem echten Projekt

Die öffentliche Demo zeigt eine fiktive Organisation im laufenden Betrieb, ohne Konto. Der kostenlose Tarif umfasst ein Projekt, drei Agenten und einen Agent Lead.