Y a-t-il un responsable dans le cockpit ?

Les agents IA commencent à prendre les commandes de processus bien réels dans les entreprises. Ils agissent, décident, exécutent. Jusqu’au jour où quelque chose tourne mal. On cherchera alors un responsable. De préférence humain. Reste à savoir si les entreprises auront formé leurs salariés à reprendre les commandes, et surtout si elles leur en auront donné le pouvoir.

Le groupe Atos vient d'annoncer le lancement d'Atos Genesis Intelligence, une offre destinée à intégrer des agents IA directement dans les opérations des entreprises. Il évoque notamment des applications chez SPIE, l'UGAP et Flender, ainsi que dans la cyberdéfense. La promesse est séduisante : les systèmes traitent des demandes, manipulent des données, déclenchent des procédures. Rapidité, productivité, disponibilité permanente : les arguments ne manquent pas. Jusqu'ici, tout va bien. Mais une décision automatisée peut produire ses effets avant qu'un collaborateur ait pu en vérifier le bien-fondé. Une erreur peut être exécutée, transmise à d'autres systèmes, reproduite des centaines de fois. Les entreprises consacrent beaucoup d'efforts à améliorer les performances de leurs agents. Ont-elles prévu avec autant de soin les conditions dans lesquelles quelqu'un pourra leur dire stop ? La question paraît élémentaire. Elle pourrait devenir embarrassante.

Un agent refuse à tort des demandes clients. Un autre modifie des données qu'il aurait dû laisser intactes. Qui est responsable ? Le fournisseur du système, l'entreprise utilisatrice, le responsable métier qui en a validé le paramétrage ? Ou le salarié chargé de surveiller les opérations, dont on découvrira soudain qu'il aurait dû intervenir ? Juridiquement, les responsabilités dépendent des faits, des contrats, des obligations applicables et des fautes éventuellement commises. Désigner un superviseur ne transfère pas automatiquement sur lui celles de l'entreprise. Reste une difficulté organisationnelle : le service informatique gère les accès, le métier définit les règles, la direction valide le déploiement et un collaborateur surveille les résultats. On lui confie les clés du cockpit après avoir décidé ailleurs de l'itinéraire, des instruments et des procédures de vol. En cas d'incident, mieux vaudrait avoir précisé ce qu'il était autorisé à faire. Et ce qu'on pouvait raisonnablement attendre de lui.

Le règlement européen sur l'intelligence artificielle s'est intéressé à cette question. Pour les systèmes classés à haut risque, son article 14 prévoit des mécanismes de supervision humaine. Les personnes chargées du contrôle doivent notamment pouvoir comprendre les limites du système, repérer les anomalies, interpréter ses résultats et, lorsque les fonctionnalités le permettent, interrompre son fonctionnement. L'article 26 précise que les entreprises déployant ces systèmes doivent confier leur supervision à des personnes disposant des compétences, de la formation, de l'autorité et du soutien nécessaires. Quatre exigences à lire ensemble. À quoi servirait une formation impeccable si le salarié n'avait pas le pouvoir de suspendre une opération ? Et que vaudrait ce pouvoir s'il était incapable de reconnaître une erreur ? Ces dispositions concernent les systèmes relevant du régime des IA à haut risque, selon leur calendrier d'application. Tous les agents ne sont donc pas soumis aux mêmes obligations. Le RGPD encadre par ailleurs certaines décisions individuelles entièrement automatisées ayant des effets juridiques ou affectant significativement les personnes. Dans les cas où elles sont autorisées, une véritable intervention humaine peut faire partie des garanties exigées. Une signature apposée au bas d'une décision prise par la machine ne constitue pas nécessairement un contrôle.

On imagine volontiers le superviseur face à une alerte rouge, prêt à appuyer sur le bouton d'arrêt. La réalité sera moins spectaculaire. Les erreurs dangereuses ont souvent l'apparence de décisions raisonnables. Une donnée incomplète, une règle mal interprétée, une exception ignorée : rien qui fasse nécessairement clignoter les voyants. Il faut connaître le métier pour repérer l'anomalie, comprendre les limites du système et rester vigilant. Voilà qui se complique lorsqu'un agent a exécuté correctement plusieurs milliers d'opérations. Pourquoi vérifier la suivante ? Le biais d'automatisation est connu : la confiance accordée à un système réduit progressivement l'attention portée à ses erreurs possibles. Le problème ne se règle pas en demandant aux salariés d'être plus attentifs. Si les alertes sont trop nombreuses, elles deviennent du bruit. Si la productivité prime sur tout, celui qui interrompt une procédure risque de passer pour un empêcheur de tourner en rond. Le superviseur doit disposer du temps, des informations et de l'autorité nécessaires pour intervenir. Dans le cockpit, le copilote a rarement besoin de consulter le service juridique avant de signaler une anomalie.

Voilà les directions Formation embarquées dans une affaire qui dépasse largement l'apprentissage du prompt. Préparer un salarié à contrôler des opérations automatisées exige une connaissance du métier, une compréhension des risques et la capacité de décider dans des situations ambiguës. Comment vérifier ces compétences ? Certainement pas avec un simple quiz sur les bonnes pratiques de l'IA. On peut imaginer des simulations construites avec les métiers : un agent applique une règle périmée, prend une décision plausible mais incorrecte ou poursuit une opération qu'il aurait dû suspendre. Le salarié doit identifier le problème, apprécier ses conséquences et choisir la conduite à tenir. Ces exercices permettront d'évaluer des aptitudes autrement difficiles à observer. Reste à définir qui sera habilité à superviser quoi, selon quels critères et à quelle fréquence ses compétences devront être réévaluées. Les directions Formation devront travailler avec les métiers, l'informatique, les responsables des risques et les juristes. L'enjeu est de pouvoir répondre, le jour où une opération tourne mal, à une question simple : avions-nous confié le contrôle à quelqu'un qui savait réellement l'exercer, et lui avions-nous donné les moyens de le faire ? Il serait fâcheux de découvrir après l'accident que le copilote avait suivi une excellente formation, mais qu'on ne lui avait jamais appris à atterrir.