Governance von KI-Agenten: der vollständige Leitfaden 2026
KI-Agenten zu steuern heißt, für jeden Agenten einen Umfang, erlaubte Tools, einen Verantwortlichen und schriftliche Abnahmekriterien festzulegen und dies dann mit einem Audit-Protokoll zu belegen. Dieser Leitfaden bietet einen Rahmen in sechs Schritten, ein RACI-Modell, ein Beispiel für eine Nutzungsrichtlinie und eine FAQ, um in 30 Tagen mit einer Governance-Plattform für KI-Agenten zu starten.
Was ist Governance von KI-Agenten?
Governance von KI-Agenten ist die Gesamtheit der Regeln, die für jeden Agenten seine Mission, seinen Dateiumfang, die Tools, die er aufrufen darf, und die Person festlegen, die für seine Arbeit geradesteht. Sie unterscheidet sich von der Governance der Modelle: Es geht nicht um das Training, die Auswahl oder die Bewertung eines Sprachmodells, sondern darum, was ein Agent konkret tut, sobald er an die Arbeit geht, Ticket für Ticket, in einem echten Projekt.
Ein Agent der agentischen KI beantwortet nicht nur eine Frage: Er liest Code, schreibt Dateien, ruft externe Tools auf und reiht Zwischenentscheidungen aneinander, ohne bei jedem Schritt geprüft zu werden. Ohne einen schriftlichen Rahmen können zwei Agenten gleichzeitig dieselbe Datei ändern, ein Agent kann seinen Umfang unbemerkt überschreiten, oder niemand weiß mehr, wer eine Lieferung vor ihrer Integration geprüft hat. Governance beantwortet für jede ausgeführte Aktion drei Fragen: Wer darf sie ausführen, in welchem genauen Umfang, und wer hat sie geprüft, bevor der Mensch sie freigegeben hat. Das ist keine zusätzliche bürokratische Ebene: Es ist die Voraussetzung dafür, einen Agenten arbeiten zu lassen, ohne dass ein Mensch jede Zeile in Echtzeit mitliest.
Warum Governance von KI-Agenten 2026 entscheidend wird
Drei Entwicklungen überlagern sich gleichzeitig. Teams lassen mehrere Agenten parallel arbeiten, manchmal am selben Projekt und denselben Dateien, was das Risiko von Konflikten und Umfangsabweichungen vervielfacht, wenn nichts im Voraus schriftlich festgelegt ist. Die Kosten folgen einer anderen Kurve als erwartet: Ein Team von Agenten im Planmodus verbraucht deutlich mehr Tokens als eine einzelne Sitzung, und die Kosten pro Lauf, pro Ticket, pro Agent und pro Modell müssen mit demselben Detailgrad verfolgt werden wie die tatsächlich gelieferte Arbeit. Dieses Tracking zu ignorieren gleicht der Führung eines Budgets ohne Dashboard, bis die Monatsrechnung alle überrascht.
Die europäische KI-Verordnung (2024/1689, bekannt als AI Act) verlangt menschliche Aufsicht und Dokumentation für Hochrisikosysteme, mit Pflichten, die je nach Kategorie bis 2027 und 2028 stufenweise greifen. Währenddessen breitet sich agentische KI in vielen Organisationen ohne schriftlichen Rahmen in den Teams aus: unkontrollierte Nutzung, weiter gefasste Zugriffe als nötig, Lieferungen, die mangels zweiter Prüfung von ihrem eigenen Autor freigegeben werden. Governance von KI-Agenten schließt diese Lücke, bevor ein externes Audit oder eine Aufsichtsbehörde es an Ihrer Stelle tut. Teams, die auf eine Mahnung oder einen Vorfall warten, bevor sie ihre ersten Regeln schreiben, verlieren wertvolle Zeit, die sie in einen selbst gewählten statt einen aufgezwungenen Rahmen hätten investieren können.
Ein Rahmen in sechs Schritten zur Steuerung Ihrer KI-Agenten
Dieser Rahmen wird der Reihe nach eingeführt, ohne einen Schritt auszulassen: Jeder baut auf dem vorherigen auf, um über den gesamten Lebenszyklus eines Agenten hinweg überprüfbar zu bleiben. Einen Schritt auszulassen, selbst um schneller voranzukommen, schwächt alle folgenden.
- Inventar: alle aktiven Agenten auflisten, das Projekt und die Organisation, der sie dienen, sowie den Agent Lead, der gegenüber dem Team und Ihnen für ihre Arbeit geradesteht.
- Stellenbeschreibung und Umfang: für jeden Agenten eine schriftliche Mission, einen Umfang erlaubter Dateien und eine ausdrückliche Liste dessen, was verboten bleibt.
- Rechte und Tools: detaillierte Profile erlaubter Tools je Rolle, mit ausdrücklicher menschlicher Freigabe vor jeder sensiblen oder nicht rückgängig zu machenden Aktion.
- Tickets mit schriftlichen Kriterien: Abnahmekriterien schriftlich festgelegt, bevor die Arbeit beginnt, niemals nachträglich hinzugefügt, nachdem eine Lieferung bereits erfolgt ist.
- Menschliches Review vor der Integration: der Agent Lead prüft die Lieferung, nie der eigene Autor, bevor der Mensch die endgültige Entscheidung zur Integration behält.
- Kostenmessung und Audit-Protokoll: Kosten in Tokens und in Euro pro Lauf verfolgt, und eine exportierbare Historie jedes Tickets für das Audit.
Das RACI-Modell für die Governance von KI-Agenten
Das RACI-Modell verteilt vier Rollen auf jede Aktivität im Lebenszyklus eines Agenten: wer die Arbeit ausführt (Responsible), wer dafür gegenüber der Organisation geradesteht (Accountable), wer vor einer Entscheidung konsultiert wird (Consulted) und wer nur über das Ergebnis informiert wird (Informed). Auf KI-Agenten angewendet, vermeidet es die häufigste Situation in Teams, die gerade starten: Niemand weiß, wer entscheidet, wenn ein Agent seinen erklärten Umfang verlässt. Ohne diese schriftliche Aufteilung können zwei Agenten oder zwei Menschen jeweils glauben, der andere trage die Endverantwortung, was jede Entscheidung im ungünstigsten Moment verzögert.
Diese Tabelle wird bei jeder Veränderung in der Organisation erneut gelesen: Ein neues Projekt, ein neuer Agent Lead oder ein neues Angebot dürfen eine Aktivität nie ohne klar benannten Accountable lassen, sonst droht eine Produktivlieferung, für die niemand vor dem Team oder einem externen Audit geradesteht.
| Aktivität | Responsible | Accountable | Consulted | Informed |
|---|---|---|---|---|
| Erstellung von Ticket und Kriterien | Agent Lead | Anfragende Person | Projektteam | Beteiligte Agenten |
| Ausführung der zugewiesenen Arbeit | Agent Worker | Agent Lead | Peer-Agenten | Anfragende Person |
| Review vor der Integration | Agent Lead | Anfragende Person | Agent Worker | Projektteam |
| Endgültige Freigabe und Integration | Anfragende Person | Anfragende Person | Agent Lead | Projektteam |
| Kosten- und Protokollverfolgung | Agent Lead | Organisationsverantwortlicher | Agent Worker | Finanzteam |
Beispiel für eine Nutzungsrichtlinie für KI-Agenten
Eine Nutzungsrichtlinie passt auf eine Seite und wird einmal im Quartal in einem technischen Ausschuss erneut gelesen. Hier ein Beispiel zum Anpassen, direkt auf den sechs Schritten des obigen Rahmens aufgebaut. Sie ersetzt keine individuelle Stellenbeschreibung, sie fasst deren Geist für das ganze Team zusammen:
- Jeder Agent verfügt über eine Stellenbeschreibung, die vom Agent Lead veröffentlicht und geprüft wurde, bevor er zum allerersten Mal in einem echten Projekt der Organisation läuft.
- Kein Agent fasst eine Datei außerhalb seines erklärten Umfangs an, selbst für eine von seinem Operator als geringfügig oder dringend eingestufte Korrektur.
- Sensible Tools, etwa Schreiben in Produktion oder das Versenden einer externen Nachricht, erfordern vor jedem Aufruf eine ausdrückliche, begründete menschliche Freigabe.
- Ein Ticket ohne schriftliche, datierte Abnahmekriterien geht niemals in die Ausführung, egal welche Dringlichkeit der Antragsteller geltend macht.
- Kein Agent, Mensch oder künstlich, gibt seine eigene Lieferung frei: Das Review liegt immer beim Agent Lead und dann bei der verantwortlichen Person.
- Die Kosten pro Ticket werden jede Woche vom Agent Lead und dem Organisationsverantwortlichen geprüft, nicht nur bei der Monatsendrechnung.
Modell-Governance gegen operative Agenten-Governance
Modell-Governance betrifft die Auswahl, Bewertung, das Training und die Verzerrungen eines Sprachmodells: Sie beantwortet die Frage «Ist dieses Modell generell zuverlässig und sicher?». Operative Agenten-Governance betrifft die konkrete Nutzung dieses Modells, sobald es an die Arbeit geht: Sie beantwortet eine andere Frage, «Tut dieser konkrete Agent, was von ihm verlangt wurde, innerhalb seines Umfangs, mit einem Nachweis, den man später zeigen kann?». Die beiden Ebenen zu verwechseln führt oft dazu, nur in die Modellbewertung zu investieren und die tägliche Arbeit der Agenten ohne jede schriftliche Regel zu lassen.
Beide Ebenen sind notwendig und ersetzen einander nie. Ein bewertetes, getestetes und als sicher eingestuftes Modell kann trotzdem einen schlecht eingerahmten Agenten hervorbringen, mit zu weitem Umfang, schlecht geregelten Rechten oder ohne jedes menschliche Review vor der Integration seiner Arbeit. Umgekehrt korrigiert ein solider operativer Rahmen mit Stellenbeschreibungen und Audit-Protokoll kein strukturell verzerrtes oder vorab schlecht bewertetes Modell. Governance von KI-Agenten setzt die andere Ebene voraus, sie ersetzt sie nicht. Ein seriöses Unternehmen dokumentiert beide Ebenen getrennt, mit unterschiedlichen Verantwortlichen und unterschiedlichen Nachweisen für jede.
Wie Atipol diesen Rahmen anwendet
In Atipol verfügt jeder Agent über eine Stellenbeschreibung: eine Mission, einen Umfang erlaubter und verbotener Dateien, erlaubte Tools und MCP-Verbindungsprofile, die zu seiner Rolle gehören. Ein Agent Lead steht gegenüber der Organisation für seine Arbeit gerade; eine Person steuert jeweils eine Agent-Lead-Sitzung, und ein und dasselbe Projekt kann je nach Größe mehrere Agent Leads haben. Jedes Ticket trägt seine schriftlichen Abnahmekriterien bereits bei seiner Erstellung, bevor die Arbeit beginnt. Die Angebote reichen von Kostenlos bis Business, mit einem individuellen Enterprise-Angebot auf Anfrage für Organisationen mit besonderen Anforderungen.
Die Lieferung wird vor jeder Integration vom Agent Lead geprüft: Ein Worker gibt niemals seine eigene Arbeit frei, und der Mensch behält die Endentscheidung, mit der Möglichkeit, in seinen sensibelsten Workflows zusätzliche Freigaben zu verlangen. Die Kosten werden in Tokens und in Euro pro Lauf, pro Ticket, pro Agent und pro Modell verfolgt, und ein exportierbares Audit-Protokoll bewahrt die Spur jedes Schritts, von der Anfrage bis zur Integration. Die Koordinationsdaten werden pro Organisation unter einem Hauptschlüssel in einem Hardware-Tresor verschlüsselt, und der Code bleibt auf Ihren Maschinen: Agenten auf Mac, Windows, Linux oder einem Docker-Runner, mit Claude Code, Codex, Cursor oder jedem anderen MCP-Client. Diese Wahl verhindert, dass ein Team an einen einzigen Editor oder Modellanbieter gebunden wird.
Häufige Fehler bei der Governance von KI-Agenten
Dieselben Fehler wiederholen sich von Projekt zu Projekt, oft in den ersten Wochen, bevor ein Team Zeit hatte, seine Gewohnheiten anzupassen:
- Abnahmekriterien nachträglich schreiben, nachdem die Lieferung bereits erfolgt ist, was das Review zu einer Verhandlung statt zu einer Prüfung macht.
- Einen Agenten seine eigene Lieferung freigeben lassen, mangels eines zweiten verfügbaren Prüfers, wenn das Ticket abgeschlossen wird.
- Einen zu weiten Dateiumfang vergeben, um schneller voranzukommen, und mehrere Tage später eine ungeplante Änderung entdecken.
- Die Kosten pro Monat statt pro Ticket verfolgen und eine Budgetüberschreitung erst entdecken, wenn die Rechnung bereits eingetroffen ist.
- Modell-Governance und operative Agenten-Governance verwechseln und nur die erste von beiden ernsthaft behandeln.
- Kein exportierbares Protokoll führen und damit keinen Nachweis haben, den man bei einem internen Review oder einer externen Kontrolle vorlegen kann.
Wo anfangen: ein 30-Tage-Plan
Die Einführung dieses Rahmens muss nicht vom ersten Tag an vollständig sein, noch darf sie bereits laufende Lieferungen blockieren. Hier ein realistisches Tempo für ein startendes Team:
- Tage 1 bis 5: vollständiges Inventar der aktiven Agenten und Benennung eines verantwortlichen Agent Lead je laufendem Projekt.
- Tage 6 bis 10: Verfassen der Stellenbeschreibungen und erlaubten Dateiumfänge für jeden bestehenden Agenten.
- Tage 11 bis 20: systematische Einführung von Tickets mit schriftlichen Abnahmekriterien, bevor neue Arbeit zugewiesen wird.
- Tage 21 bis 25: Regel des menschlichen Reviews vor der Integration ausnahmslos angewendet, auch bei dringenden Lieferungen.
- Tage 26 bis 30: erstes Kosten-pro-Ticket-Review und erster vollständiger Export des Audit-Protokolls zur Durchsicht.
Häufige Fragen
Was ist Governance von KI-Agenten?
Es ist die Gesamtheit der Regeln, die Umfang, Rechte, Budget und Review jedes Agenten festlegen, mit einem Audit-Protokoll, das es erlaubt, im Nachhinein zu belegen, was bei einem bestimmten Ticket tatsächlich passiert ist. Sie gilt für die reale Arbeit des Agenten, nicht nur für die Qualität des verwendeten Modells.
Warum eine Governance-Plattform für KI-Agenten statt manueller Regeln nutzen?
Weil eine Plattform den Rahmen auf jedes Ticket anwendet, ohne vom Gedächtnis eines Teams abzuhängen: Umfang, Kriterien und Review werden bei jeder Lieferung geprüft, nicht nur in einer Datei dokumentiert, die niemand wieder öffnet. Ergebnis: weniger stille Vorfälle und ein Review, das sich auf die Arbeit konzentriert, nicht auf Papierkram.
Was ist das auf KI-Agenten angewandte RACI-Modell?
Es weist für jede Aktivität, etwa Ticketerstellung, Ausführung, Review oder Freigabe, zu, wer die Arbeit ausführt, wer dafür geradesteht, wer konsultiert wird und wer nur über das Endergebnis informiert wird.
Verändert agentische KI die Governance gegenüber einem einfachen Assistenten?
Ja: Ein Agent der agentischen KI handelt tatsächlich, er schreibt, er ruft Tools auf, er entscheidet Zwischenschritte; deshalb muss man seine echten Aktionen steuern, nicht nur die Qualität seiner Antworten.
Was bedeutet es, einen Menschen im Loop zu behalten?
Dass der Mensch die Endentscheidung über jede Freigabe behält und in seinen Workflows zusätzliche Freigaben verlangen kann, auch wenn der Großteil der täglichen Arbeit bereits von Agenten automatisiert ist. Das unterscheidet einen Governance-Rahmen von bloßer Automatisierung ohne Aufsicht.
Wofür dient ein Audit-Protokoll bei KI-Agenten?
Es verknüpft jede Aktion mit einem bestimmten Agenten, einem Ticket und einer verantwortlichen Person und lässt sich für ein regelmäßiges internes Review oder eine externe Kontrolle exportieren, etwa eine regulatorische.
Wie verfolgt man Kosten pro Lieferung statt pro Monat?
Indem man die Kosten in Tokens und in Euro pro Ticket misst und sie dann den tatsächlich freigegebenen Lieferungen zuordnet, statt nur der am Monatsende gesehenen Gesamtrechnung.
Sind Governance von KI-Agenten und AI-Act-Konformität dasselbe?
Nein: Der AI Act legt rechtliche Pflichten je nach Risikostufe des Systems fest, während operative Agenten-Governance die interne Praxis ist, die hilft, sie einzuhalten, ohne sie je ganz zu ersetzen. Die beiden Rahmen ergänzen sich: Der eine legt den rechtlichen Boden fest, der andere organisiert die tägliche Arbeit um diesen Boden herum.
Quellen
- Verordnung (EU) 2024/1689 über KI (AI Act), EUR-Lex, 12.07.2024
- NIST, AI Risk Management Framework 1.0, 26.01.2023
- ANSSI (cyber.gouv.fr), Sicherheitsempfehlungen für generative KI, 2024
- MCP-Spezifikation, Security Best Practices
Die öffentliche Demo zeigt eine fiktive Organisation im laufenden Betrieb, ohne Konto. Der kostenlose Tarif umfasst ein Projekt, drei Agenten und einen Agent Lead.
