Ce que recouvre le mot comportement
Le comportement d'un agent désigne ce qu'il fait pour atteindre un but, et non le seul but atteint. Un modèle peut produire la bonne réponse par un chemin douteux, ou échouer proprement sans nuire. Le comportement couvre le nombre d'étapes suivies, les outils appelés, les reprises après erreur, la manière de demander une clarification ou, au contraire, de poursuivre en dépit de l'incertitude. Il inclut aussi la stabilité : un agent qui donne deux réponses différentes à une même question se comporte de façon imprévisible, ce qui gêne la confiance. Observer cela suppose de conserver la trace des actions, pas seulement la sortie finale remise à l'utilisateur.
Cette distinction a une portée pratique. Un tableau de bord qui ne montre que le taux de réussite passe à côté des dérives : un agent peut réussir souvent tout en multipliant les chemins coûteux ou risqués. À l'inverse, un comportement sain peut produire un échec honorable — signaler qu'une tâche dépasse son mandat plutôt que de l'exécuter à l'aveugle. Juger le comportement, c'est donc reconnaître qu'un bon résultat obtenu de mauvaise manière prépare de mauvaises surprises. Mesurer ce qui se passe entre la demande et la réponse est la condition pour piloter un agent, et non se contenter de constater son score.
Trois familles d'indicateurs : résultat, parcours, coût
On peut regrouper les indicateurs en trois familles. La première concerne le résultat : la tâche est-elle accomplie, correctement, dans les délais ? La deuxième porte sur le parcours : nombre d'étapes, appels d'outils, boucles, reprises, demandes d'aide. La troisième touche au coût : temps de calcul, jetons consommés, appels facturés, ressources mobilisées. Ces trois familles se complètent. Un agent rapide et peu coûteux qui se trompe souvent n'est pas performant ; un agent fiable mais qui épuise un budget à chaque requête non plus. Le bon indicateur dépend de ce que l'on cherche à protéger : la qualité, la vitesse ou la dépense.
À l'intérieur de chaque famille, le choix du chiffre compte. Pour le parcours, mieux vaut suivre des événements nommés — « a repris après échec », « a demandé une validation » — que des moyennes opaques. Pour le coût, distinguer le coût moyen du coût des cas extrêmes évite de sous-estimer des dérapages ponctuels. Pour le résultat, séparer les erreurs bénignes des erreurs graves : les additionner noie l'essentiel. Une métrique utile est compréhensible par ceux qui devront agir sur elle. Un indicateur que personne ne sait interpréter finit ignoré, même s'il est techniquement juste. La clarté prime sur l'exhaustivité.
Le piège de la métrique unique
Le piège le plus courant est de réduire le pilotage à une note unique. Un score global rassure, mais il masque les tensions entre les objectifs : gagner en vitesse dégrade souvent la prudence, réduire le coût peut pousser à bâcler. Optimiser une seule métrique conduit l'agent, et ceux qui le règlent, à sacrifier tout le reste. Le phénomène est connu : ce que l'on mesure devient ce que l'on vise, y compris au détriment de ce qui n'est pas mesuré. Une organisation qui suit uniquement la satisfaction mesurée par les clics obtiendra des agents habiles à provoquer des clics, pas nécessairement à rendre service.
La parade consiste à tenir plusieurs indicateurs ensemble, et à regarder leurs évolutions relatives. Une chute du coût qui s'accompagne d'une hausse des erreurs graves signale un arbitrage à corriger. Suivre des seuils plutôt que des scores absolus aide aussi : au-delà d'un certain taux de reprise, d'un certain temps, d'une certaine dépense, une alerte se déclenche. Ces seuils dépendent du contexte et de l'enjeu ; les figer une fois pour toutes serait une erreur. Les métriques de comportement servent à poser des questions, pas à rendre un verdict automatique. Leur rôle est d'orienter le regard humain vers ce qui mérite examen.
Des chiffres à l'action : alertes et revues
Une métrique n'a d'intérêt que si elle débouche sur un geste. Trois usages la rendent utile : l'alerte, quand un seuil est franchi et qu'il faut regarder ; la revue périodique, où l'on examine un échantillon d'actions afin de repérer des tendances ; l'arbitrage, quand il faut décider de resserrer ou d'assouplir le mandat d'un agent. Sans ces usages, la collecte de données devient un rituel coûteux. La question à poser avant d'ajouter un indicateur n'est pas « est-ce mesurable ? » mais « que ferons-nous si ce chiffre change ? ». Un indicateur sans conséquence attendue est un indicateur de trop.
Le pilotage gagne à être partagé. Les ingénieurs connaissent la mécanique du système, les métiers savent quel comportement pose problème en pratique. Une métrique définie sans eux risque de mesurer ce qui est facile à capter plutôt que ce qui compte. Associer les deux regards évite aussi l'illusion d'objectivité : un chiffre est toujours le produit de choix, sur ce que l'on compte et sur ce que l'on ignore. Dans les systèmes d'IA à haut risque, le règlement européen adopté en 2024 demande une surveillance documentée, déployée par étapes entre 2025 et 2026. Bien choisir ses métriques n'est alors plus un confort, mais une exigence de gouvernance.
Aller plus loin
Bien mesurer le comportement d'un agent suppose de choisir des indicateurs clairs, de les tenir ensemble et de les relier à des décisions. Notre catalogue des 31 formations propose des parcours sur l'analyse des comportements des systèmes d'IA et sur le pilotage de leur supervision. Ils s'adressent à ceux qui veulent comprendre ce que fait réellement leur agent, et pas seulement ce qu'il affiche.
Vous voulez maîtriser ce sujet en pratique ?
Cabinet MARA forme en ligne, sur des cas réels, avec des modules courts et un suivi de progression.
Voir la formation liée Les 31 formations