Audit-Protokoll eines KI-Agenten: was gehört hinein?

Das Audit-Protokoll eines KI-Agenten muss fünf Fragen beantworten: welcher Agent gehandelt hat, in wessen Auftrag, mit welchem Werkzeug, mit welchen Daten und mit welcher menschlichen Freigabe. Es enthält keine Geheimnisse, beschränkt personenbezogene Daten auf das Nötige und wird bei einem Hochrisiko-System nach dem AI Act mindestens sechs Monate aufbewahrt.
Warum einen KI-Agenten protokollieren
Ein KI-Agent antwortet nicht nur: Er ruft Werkzeuge auf, liest Dateien und verändert Systeme. Ohne Protokoll lässt sich nach einem Vorfall nicht mehr nachvollziehen, wer was getan hat. Für Hochrisiko-Systeme verlangt Artikel 12 des AI Act zudem, dass das System die automatische Aufzeichnung von Ereignissen während seines gesamten Lebenszyklus technisch ermöglicht.
Die fünf Angaben im Protokoll
Jeder Eintrag sollte für sich allein verständlich sein, ohne zusätzlichen Kontext. Die folgende Tabelle zeigt das sinnvolle Minimum für ein Audit: die Identität des Agenten, die verantwortliche Person, die ausgeführte Aktion, die betroffenen Daten und die Freigabeentscheidung. Ergänzen Sie einen genauen Zeitstempel und eine eindeutige Kennung, um die Einträge einer Aufgabe zu verknüpfen.
| Angabe | Beispiel | Audit-Frage |
|---|---|---|
| Agent | Redaktionsagent, Modellversion | Welcher Agent hat gehandelt? |
| Verantwortlich | Person oder Team, das die Aufgabe gestartet hat | In wessen Auftrag? |
| Aktion | Aufruf eines MCP-Werkzeugs, Befehl, Schreibvorgang | Was hat er getan? |
| Daten | Betroffene Datei, Tabelle oder Ordner | Woran hat er gearbeitet? |
| Freigabe | Menschliche Freigabe, Ablehnung oder automatische Prüfung | Wer hat es genehmigt? |
Jede Aktion mit einer Freigabe verknüpfen
Das Protokoll muss zeigen, wer eine Aktion genehmigt hat, nicht nur, dass sie stattfand. In einem Team aus Agenten hat jede Person ihren eigenen agent lead: Er prüft die Arbeit der Agenten, denen er Tickets zugewiesen hat, und entscheidet über ihre Übernahme; diese Entscheidung gehört ins Protokoll. Bei einer unumkehrbaren Aktion wie einer Veröffentlichung oder Löschung halten Sie auch die vorherige ausdrückliche menschliche Freigabe fest.
Was nie protokolliert werden darf
Ein Audit-Protokoll darf weder Passwörter noch Zugriffstoken oder API-Schlüssel enthalten, auch nicht gekürzt. Die DSGVO verlangt zudem Datenminimierung: Speichern Sie nur die personenbezogenen Daten, die für den Zweck des Protokolls nötig sind. Verwenden Sie lieber die Kennung eines Dokuments als seinen Inhalt und maskieren Sie sensible Felder vor dem Schreiben.
Wie lange das Protokoll aufbewahren
Für ein KI-System mit hohem Risiko legt der AI Act ein Minimum fest: Automatisch erzeugte Protokolle werden mindestens sechs Monate aufbewahrt, vom Anbieter (Artikel 19) wie vom Betreiber (Artikel 26), sofern Unionsrecht oder nationales Recht nichts anderes vorsieht. Für andere Agenten legen Sie eine Frist in Ihrer internen Richtlinie fest und wenden Sie sie überall an.
Begrenzen, was der Agent tun darf
Ein gutes Protokoll ersetzt keine begrenzten Rechte. OWASP zählt übermäßige Handlungsfreiheit für 2025 zu den zehn wichtigsten Risiken von Anwendungen auf Basis großer Sprachmodelle: zu viele Werkzeuge, zu viele Berechtigungen oder zu viel Autonomie. Geben Sie jedem Agenten nur die Werkzeuge, die seine Aufgabe erfordert, und protokollieren Sie auch verweigerte Zugriffe.
Das Protokoll auditfähig machen
Das KI-Risikomanagement-Rahmenwerk des NIST gliedert die Arbeit in vier Funktionen: steuern, erfassen, messen und managen. Das Protokoll dient insbesondere dem Messen (MEASURE 2.4, Überwachung im Betrieb) und dem Managen (MANAGE 4.1, Überwachung nach dem Einsatz und Reaktion auf Vorfälle). Damit es in einem Audit nützt, muss es exportierbar, gegen Veränderung geschützt und für eine Person außerhalb des Teams lesbar sein, das den Agenten eingesetzt hat.
Das Audit-Protokoll in zwei Zahlen
Zwei Zahlen fassen diesen Rahmen zusammen: wie viele Angaben ein Protokolleintrag braucht und wie lange ein Hochrisiko-System ihn aufbewahren muss.
- 5 Angaben pro Eintrag Agent, Verantwortlich, Aktion, Daten, Freigabe
- 6 Mindestaufbewahrung (Monate) AI Act, Art. 19 und 26, Hochrisiko-Systeme
Häufige Fragen
Muss jede Antwort des Agenten protokolliert werden?
Nein. Protokollieren Sie die Aktionen mit Wirkung: Werkzeugaufrufe, Schreibvorgänge, Veröffentlichungen und Freigabeentscheidungen. Der vollständige Text der Dialoge ist nur sinnvoll, wenn Ihre Richtlinie ihn rechtfertigt, unter Beachtung der Datenminimierung.
Gilt Artikel 12 des AI Act für alle Agenten?
Nein. Artikel 12 betrifft KI-Systeme mit hohem Risiko. Für andere Agenten bleibt ein Protokoll eine gute Governance-Praxis, Form und Aufbewahrungsdauer regelt aber Ihre interne Richtlinie.
Wer sollte das Protokoll lesen können?
Mindestens die für den Agenten verantwortliche Person und eine unabhängige Kontrollfunktion wie IT-Sicherheit oder interne Revision. Beschränken Sie den Schreibzugriff, damit das Protokoll nachträglich nicht verändert werden kann.
Quellen
- Verordnung (EU) 2024/1689 über künstliche Intelligenz (AI Act), Artikel 12, 19 und 26, 13.06.2024
- Verordnung (EU) 2016/679 (DSGVO), Artikel 5, 27.04.2016
- NIST, AI Risk Management Framework 1.0, Januar 2023
- OWASP, LLM06:2025 Excessive Agency, 2025
Die öffentliche Demo zeigt eine fiktive Organisation im laufenden Betrieb, ohne Konto. Der kostenlose Tarif umfasst ein Projekt, drei Agenten und einen Agent Lead.
