Gouvernance

Où placer l'approbation humaine dans les flux d'agents IA

· fondateur d'ETCSEC · mis à jour le 17 novembre 2026 · 10 min
Illustration d'un robot qui marque une pause à un point de contrôle avant une action bloquée.
La réponse courte

Mettez la porte d'approbation humaine seulement sur les actions à fort impact d'un agent IA, appliquée en dehors de l'agent lui-même, jamais dans un prompt qu'il contrôle. Avant de décider qui approuve ce qui reste, réduisez d'abord ce que l'agent peut faire, puis journalisez qui a autorisé chaque action approuvée, surtout celles qui ne peuvent pas être annulées.

Tout approuver rend les agents inutiles ; ne rien approuver est un risque

Un CTO qui déploie des agents IA tombe en général dans l'un de deux modes d'échec. Exiger une approbation pour chaque action et les agents cessent de faire gagner du temps, puisque quelqu'un doit encore cliquer manuellement à chaque étape. N'exiger aucune approbation et un seul mauvais appel d'outil, un fichier supprimé par erreur, un message envoyé au mauvais client, une fusion qui saute la relecture, devient le problème de l'agent à expliquer après coup, pas avant. Aucun des deux extrêmes n'est une politique ; les deux sont un aveu que personne n'a décidé où placer la porte d'approbation.

Le GenAI Security Project d'OWASP nomme le problème sous-jacent Excessive Agency : des actions dommageables effectuées en réponse à une sortie de modèle inattendue, ambiguë ou manipulée, enracinées dans une fonctionnalité excessive, des permissions excessives, ou une autonomie excessive accordée à l'agent. La correction décrite par OWASP n'est pas un écran d'approbation généralisé devant chaque action ; c'est d'abord réduire ce qui peut mal tourner, puis ne verrouiller que ce qui reste.

Les deux modes d'échec décrits ci-dessus ne sont pas hypothétiques pour les agents connectés via MCP, le protocole que la plupart de ces outils utilisent pour atteindre des systèmes réels. La même question d'approbation, cet appel précis doit-il attendre une personne, se pose pour chaque outil qu'un agent peut atteindre, pas seulement pour le résultat final de l'agent, ce qui explique pourquoi la réponse doit être une règle appliquée outil par outil plutôt qu'une décision prise une fois pour toutes au premier déploiement de l'agent.

Réduire ce qui nécessite une approbation avant de décider qui approuve

OWASP liste la réduction du nombre d'extensions, la réduction de leurs fonctionnalités, le fait d'éviter les extensions ouvertes comme un outil général d'exécution shell, la réduction des permissions d'extension à ce dont le système en aval a réellement besoin, comme un accès base de données en lecture seule, et l'exécution de chaque extension dans le contexte propre de l'utilisateur spécifique avec des privilèges minimaux, comme premières lignes de défense contre l'Excessive Agency. Aucune de ces mesures n'implique qu'un humain clique sur approuver ; elles suppriment l'action, la permission, ou le rayon de dégâts avant même que la question de l'approbation ne se pose.

Un outil qu'un agent ne peut pas appeler n'a pas besoin de porte d'approbation, et une connexion base de données en lecture seule ne peut pas être celle qui supprime une table, quoi qu'en décide un écran d'approbation. Atipol applique le même ordre dans son propre modèle de permissions : un sous-agent n'a jamais plus de permissions que l'agent qui lui a délégué, donc restreindre ce que l'agent de premier niveau peut faire restreint aussi chaque sous-agent en dessous.

Traduit dans la configuration réelle d'un agent, cela signifie qu'un agent utilisé pour le flux de tickets déjà décrit sur ce blog reçoit une limite de périmètre de fichiers et rien qui ressemble à un outil shell généraliste, qu'un agent qui rédige des réponses clients reçoit une fonction d'envoi limitée aux brouillons plutôt qu'à la livraison directe, et qu'un agent qui touche une base de données reçoit exactement les colonnes et les droits de lecture ou d'écriture que la tâche précise, rien de plus large accordé par commodité.

Placer la porte sur les actions à fort impact, appliquée en dehors de l'agent

Une fois la fonctionnalité, les permissions et l'autonomie inutiles supprimées, la sixième mitigation d'OWASP traite ce qui reste : « Utilise human-in-the-loop control to require a human to approve high-impact actions before they are taken. » Le guide ajoute que ce contrôle peut se situer en aval de l'appel de l'extension ou à l'intérieur de l'extension elle-même, et l'associe à une septième mitigation, la médiation complète : appliquer l'autorisation dans le système en aval à chaque fois, plutôt que de faire confiance au jugement du modèle lui-même sur le fait qu'une action soit autorisée.

Ce second point compte sur le plan opérationnel. Une invite d'approbation que l'agent lui-même décide d'afficher ou non n'est pas une porte, puisqu'un agent manipulé ou simplement en erreur peut sauter l'invite de la même façon qu'il sauterait toute autre instruction. La décision d'exiger une approbation, et l'application de cette exigence, doit vivre dans un système que l'agent ne contrôle pas.

OWASP liste aussi deux mesures qui limitent les dégâts sans empêcher l'Excessive Agency en premier lieu : journaliser et surveiller l'activité des extensions, et limiter le débit des actions indésirables. Les deux comptent, mais aucune ne remplace la porte d'approbation elle-même ; une suppression non autorisée bien journalisée reste une suppression, et une limite de débit ralentit les dégâts répétés sans arrêter la première occurrence.

Où les équipes placent réellement la porte

Les cas d'usage d'Atipol montrent où différentes équipes placent cette porte, action par action, plutôt qu'équipe par équipe.

Ce que la porte protège diffère selon le domaine, une relation client, un incident actif, une base de code, un état financier, mais la forme de la porte reste la même sur chaque ligne : une personne, autre que celle qui a déclenché l'action, décide avant qu'elle ne prenne effet, sans la relire après coup.

DomaineAction soumise à approbationQui décidePortée de l'approbation
Support clientEnvoyer une réponse à un clientLa personne qui approuve l'envoiCe message précis, une fois
Opérations de sécuritéContenir un incidentL'analysteCet appel précis, une fois
Développement logicielFusionner une pull requestUn relecteur autre que le demandeurCet appel précis, avant la fusion
ObservabilitéOuvrir un incident de supervisionL'approbateurCet appel précis
Publication de contenuPublier sur le CMSLa personne qui approuve via MCPAcheminé par l'approbation MCP
Reporting financierValider un rapportLe PDG ou le directeur financierCe rapport précis

Un appel, une décision, jamais un oui général

Une porte qui reste ouverte après la première approbation n'est pas une porte. Atipol applique la règle comme une limite de périmètre : l'approbation humaine est donnée pour un appel précis, une fois, et chaque outil porte l'un de trois états de permission, autorisé, soumis à l'approbation d'une personne, ou refusé, défini outil par outil. Quand un outil est réglé pour exiger une approbation, l'appel attend la décision d'une personne ; s'il est refusé, l'appel est rejeté et journalisé plutôt que retenté silencieusement.

Le même modèle ne fait que se durcir à plus grande échelle, jamais se relâcher : un espace de travail peut passer d'ouvert, à catalogue seulement, à approbation obligatoire, mais une règle au niveau de l'espace de travail ne peut pas être assouplie par la configuration d'un agent individuel. Une demande hors du catalogue approuvé est décidée par un administrateur et journalisée, ce qui garde l'exception visible au lieu de la laisser devenir un défaut silencieux.

Ces trois états s'appliquent de la même façon quelle que soit l'équipe qui a configuré l'agent : la fonction d'envoi d'un agent support, l'action de confinement d'un agent SOC, et la soumission de rapport d'un agent finance portent chacune leur propre réglage autorisé, approbation, ou refusé, plutôt qu'un seul réglage d'approbation appliqué à tout l'agent. Changer l'état d'un seul outil ne touche aucun autre outil que le même agent peut appeler.

Le relecteur n'est jamais le demandeur, ni l'agent lui-même

La même séparation qui s'applique à la relecture d'un ticket s'applique directement aux portes d'approbation : la personne qui a demandé le travail ne devrait pas être celle qui l'approuve. Atipol applique la règle sans exception des deux côtés de la demande : aucun agent, humain ou artificiel, n'approuve sa propre livraison, et l'humain garde la décision finale sur chaque approbation.

En pratique, cela signifie qu'un agent ne peut pas générer un rapport et aussi le valider, et qu'un développeur qui a assigné un ticket à un agent ne peut pas être le relecteur requis qui approuve le changement résultant, la même contrainte documentée pour les pull requests de l'agent de code propre de GitHub. Les profils d'outils fondés sur les rôles vont plus loin : chaque rôle reçoit sa propre liste d'outils autorisés, avec une approbation humaine explicite exigée avant toute action sensible ou irréversible, plutôt qu'un seul approbateur général pour toute l'équipe.

La même règle atteint aussi les sous-agents. Puisqu'un sous-agent n'a jamais plus de permissions que l'agent qui lui a délégué, une exigence d'approbation placée sur une action sensible de l'agent de premier niveau ne peut pas être contournée en faisant exécuter la même action par un sous-agent sous une description de tâche plus étroite ; le plafond de permissions, et la porte d'approbation qui l'accompagne, se propagent tout au long de la chaîne de délégation.

Une approbation sans trace n'est pas une supervision

Une approbation qui n'est pas consignée par écrit est indiscernable, six mois plus tard, de l'absence totale d'approbation. Le journal d'audit d'Atipol précise ce qu'il montre : qui a autorisé une action, pas seulement qu'elle a eu lieu, et pour une action irréversible comme publier ou supprimer, l'approbation humaine explicite qui l'a précédée, enregistrée aux côtés de l'action elle-même.

Les régulateurs vont dans la même direction pour les systèmes qu'ils classent à haut risque. La description propre de la Commission européenne de l'AI Act, mise à jour le 19 octobre 2026, liste des mesures de contrôle humain appropriées parmi les obligations qui s'appliquent aux systèmes d'IA à haut risque, et indique qu'une fois un tel système sur le marché, les déployeurs doivent garantir un contrôle et une surveillance humains tout au long de son usage, pas seulement au déploiement.

Le NIST AI Risk Management Framework (AI RMF 1.0, publié le 26 janvier 2023) présente cela à un niveau plus large : il est destiné à aider les organisations à intégrer des considérations de confiance dans la conception, le développement, l'usage et l'évaluation des systèmes d'IA, ce qui inclut qui est autorisé à approuver ce qu'un agent fait, pas seulement ce que l'agent produit.

Ancrer cela dans une équipe

Rien de tout cela n'exige de décider, action par action, en partant de zéro. Commencez par retirer la fonctionnalité, les permissions et l'autonomie dont l'agent n'a pas besoin, en suivant les premières mitigations d'OWASP ; réglez les outils restants sur l'un de trois états, autorisé, approbation, ou refusé ; nommez un relecteur pour chaque porte qui n'est jamais le demandeur ni l'agent ; et journalisez qui a approuvé quoi, les actions irréversibles portant leur approbation à leurs côtés dans la trace.

Ces quatre étapes se résument à une séquence unique, reproductible :

Réduire lepérimètreBloquer lesappels à fortimpactRelecteurindépendantJournaliserl'approbationRéduire le périmètreBloquer les appels à fort impactRelecteur indépendantJournaliser l'approbation

Un test utile pour savoir si la porte est au bon endroit : retirez l'étape d'approbation et demandez à quoi ressemble le pire résultat possible. Si la réponse est quelques minutes de reprise, l'action n'était probablement jamais assez impactante pour nécessiter un humain. Si la réponse est un rapport erroné validé, une table de base de données disparue, ou un message qu'un client n'aurait jamais dû recevoir, la porte appartient exactement là où OWASP et Atipol la placent : avant l'action, appliquée en dehors de l'agent, et enregistrée après coup.

Les pratiques de sécurité derrière ce modèle, dont les listes d'outils autorisés par agent, les secrets tenus hors des prompts, et la relecture d'un serveur MCP avant de le connecter, sont détaillées sur atipol.ai/agentic-ai-blog/mcp-security. Le cadre de gouvernance autour des rôles, la politique d'usage, et où la relecture doit se situer avant une fusion est couvert sur atipol.ai/agentic-ai-blog/ai-agent-governance.

Pour voir ces états de permission, ces portes d'approbation, et le journal d'audit appliqués sur toute une équipe d'agents, la section sécurité du produit sur atipol.ai/security montre comment régler un outil sur autorisé, approbation, ou refusé, et ce qui est journalisé quand une personne approuve ou refuse un appel.

Questions fréquentes

Quelles actions d'un agent IA ont besoin d'une approbation humaine, et lesquelles non ?

Le guide d'OWASP sur l'Excessive Agency pointe vers les actions à fort impact, celles où un mauvais appel est coûteux ou difficile à annuler, comme publier, supprimer, fusionner, ou envoyer à un client. Les actions à moindre impact sont mieux traitées en réduisant la fonctionnalité, les permissions et l'autonomie de l'agent pour qu'il en existe moins au départ, plutôt qu'en approuvant chacune.

L'agent ou la personne qui a demandé l'action peuvent-ils l'approuver eux-mêmes ?

Non. Atipol applique la règle selon laquelle aucun agent, humain ou artificiel, n'approuve sa propre livraison, et que la personne qui a demandé le travail ne devrait pas être celle qui l'approuve, la même règle de revue indépendante documentée pour les pull requests de l'agent de code Copilot de GitHub.

Que faut-il journaliser quand un humain approuve ou refuse l'action d'un agent ?

Le journal doit montrer qui a autorisé l'action, pas seulement qu'elle a eu lieu, et pour une action irréversible comme publier ou supprimer, l'approbation explicite qui l'a précédée, enregistrée aux côtés de l'action dans la piste d'audit.

Sources

Essayez sur un vrai projet

La démo publique montre une organisation fictive en fonctionnement, sans compte. L'offre gratuite donne un projet, trois agents et un agent lead.