L’agent a dérapé… savez-vous reprendre la main ?

Les agents IA commencent à agir, et parfois à se tromper, dans les systèmes réels de l’entreprise. Une nouvelle question se pose alors aux responsables formation : que doit savoir faire un collaborateur lorsque son agent a déjà envoyé, modifié, commandé ou décidé ce qu’il n’aurait pas dû ? Après avoir appris à déléguer et à superviser, il va falloir apprendre à gérer l’incident. Un apprentissage qui passera sans doute moins par des modules que par l’entraînement à des situations où il faut comprendre vite, arrêter l’action et reprendre la main.

Le 14 septembre, Chun Yin Kong publiait dans la revue AI and Ethics « The delegation illusion: why deploying autonomous AI agents does not diminish principal responsibility ». Sa thèse : confier une tâche à un agent autonome ne fait pas disparaître la responsabilité de celui qui le déploie. L’autonomie, l’opacité ou la capacité d’adaptation de l’agent peuvent éloigner l’humain de l’action précise qui produit le dommage ; elles n’effacent pas pour autant sa responsabilité dans la décision antérieure de déléguer, de fixer un objectif, des contraintes et de laisser agir le système. L’auteur prend soin de préciser qu’il s’agit d’une analyse conceptuelle et normative, non d’une étude empirique. Cette réflexion suffit pourtant à déplacer la question pour la formation. Tant que l’IA produisait essentiellement une réponse, l’utilisateur pouvait la vérifier avant de l’exploiter. Un agent peut, lui, enchaîner plusieurs opérations, utiliser des outils et produire des effets avant qu’un humain ait examiné chacune de ses décisions. Que se passe-t-il lorsque l’erreur n’est plus seulement affichée sur un écran, mais qu’elle a déjà déclenché une action ?

La question n’arrive pas sans préparation. La montée des agents a déjà conduit à s’interroger sur le pouvoir qu’on leur délègue, les limites à fixer et la responsabilité qui accompagne cette délégation. C’était précisément le sujet de « Déléguer du pouvoir à son agent : un délicat savoir-faire » : déterminer ce que l’agent peut faire seul, ce qui doit rester soumis à validation et les limites du mandat qui lui est confié. Elle a également fait réapparaître une compétence que vingt années de discours managérial avaient plutôt cherché à alléger : le contrôle. Dans « Il va falloir réapprendre à contrôler », il était déjà question de distinguer ce qui peut être délégué librement, ce qui nécessite des points de contrôle et ce qui exige une validation humaine. Mais déléguer correctement et contrôler intelligemment ne règlent pas tout. Un incident reste possible. Et celui-ci présente une particularité : le collaborateur peut se retrouver face aux conséquences d’une action qu’il n’a ni matériellement exécutée ni précisément anticipée. L’agent a poursuivi son objectif, choisi des étapes intermédiaires, utilisé les droits qui lui avaient été accordés et produit un résultat indésirable avant que son donneur d’ordre ait pu intervenir. À cet instant, la compétence attendue change : il ne s’agit plus d’empêcher l’erreur, mais de savoir quoi faire lorsqu’elle s’est déjà produite.

Une sorte de protocole professionnel commence alors à se dessiner. Arrêter d’abord, lorsque c’est encore possible, les actions en cours et éviter que l’agent poursuive son chemin à partir d’une première erreur. Comprendre ensuite : quelles opérations ont été réalisées, dans quel ordre, sur quelles données, avec quels outils et quels effets ? Alerter les personnes compétentes, selon que l’incident relève du métier, de l’IT, de la cybersécurité, de la protection des données ou du juridique. Documenter enfin ce qui s’est passé pour permettre la correction et éviter la répétition. Le collaborateur n’a évidemment pas vocation à se transformer en expert cyber ou en juriste. Une partie essentielle de sa compétence consistera précisément à connaître la limite de son intervention et le moment où il doit passer la main. La difficulté tient plutôt à sa position nouvelle : il est suffisamment proche de l’agent pour avoir déclenché ou supervisé son action, mais pas nécessairement assez expert pour mesurer seul toutes les conséquences de ce qu’il vient de faire. C’est donc moins une nouvelle expertise qu’un ensemble de réflexes qu’il faudra acquérir : interrompre, qualifier, escalader, documenter. Autant de gestes professionnels qui pourraient bientôt rejoindre les programmes de formation à l’IA.

Comment acquérir ces réflexes ? Probablement pas en regardant un module expliquant les dix bonnes pratiques face à un agent défaillant. L’incident combine urgence, incertitude et informations incomplètes ; il faut parfois décider avant de tout comprendre. Il constitue donc un candidat presque idéal pour la simulation. Le principe est déjà familier en cybersécurité, en sécurité industrielle ou dans la gestion de crise. Il pourrait être transposé au travail agentique. Votre agent vient d’envoyer un document confidentiel au mauvais destinataire : que faites-vous ? Il a engagé une dépense hors de son mandat : où interrompez-vous le processus ? Il a modifié une donnée client puis enchaîné plusieurs opérations à partir de cette donnée erronée : comment remontez-vous la chaîne ? L’exercice permettrait de tester non seulement des connaissances, mais des comportements sous contrainte. C’est précisément ce que Patrick Benammar rappelle dans « L’apprentissage à l’épreuve du réel », publié deux jours plus tôt dans e-learning Letter : les simulations, la répétition, la réflexivité et le feedback préparent à des situations complexes ou dangereuses. Appliquée aux agents, cette pédagogie permettrait de découvrir pendant un exercice qu’on ne sait pas arrêter, diagnostiquer ou escalader un incident, plutôt que le jour où l’agent agit réellement sur un client, une donnée ou un paiement.

L’arrivée des agents ajoute enfin une curieuse dimension à l’apprentissage par l’erreur. Jusqu’ici, analyser une erreur professionnelle consistait généralement à se demander ce que l’on avait mal compris, mal décidé ou mal exécuté. Avec l’agent, le collaborateur pourra devoir analyser une action qu’il n’a pas lui-même accomplie : qu’ai-je demandé ? Qu’ai-je autorisé ? Quel contrôle ai-je omis ? Quel signal n’ai-je pas vu ? À quel moment aurais-je dû reprendre la main ? La responsabilité n’est évidemment pas aussi simple : les agents s’insèrent dans des systèmes conçus, paramétrés et gouvernés par plusieurs acteurs. Mais, du point de vue de la formation, le déplacement est déjà perceptible. Plus les collaborateurs disposeront de machines capables d’agir pour leur compte, plus ils devront savoir réagir lorsque ces machines agiront mal. Après la maîtrise du prompt, la délégation et le contrôle, une nouvelle ligne pourrait donc apparaître dans les programmes de formation à l’IA : l’entraînement à l’incident agentique. Il ne s’agira plus seulement d’apprendre à travailler avec son agent, mais de savoir quoi faire lorsque quelque chose s’est mal passé.