Pourquoi un agent invente ce qu'il ignore
Un grand modèle de langage est entraîné à prédire la suite la plus probable d'un texte, non à vérifier des faits. Quand l'information manque ou que la question sort de son domaine de fiabilité, il ne s'arrête pas : il comble le vide avec la formulation la plus crédible. L'hallucination naît de cette mécanique même, pas d'un défaut isolé qu'une mise à jour corrigerait définitivement. Un agent qui enchaîne plusieurs étapes, lire, décider, agir, multiplie les occasions d'inventer, car chaque sortie devient l'entrée de la suivante et l'erreur se propage sans être détectée. La fiabilité d'un agent se construit par des contrôles répétés plutôt que par la confiance accordée à ses sorties.
On distingue plusieurs formes. L'hallucination factuelle invente des chiffres, des dates ou des citations ; l'hallucination de conformité fabrique une réponse pour satisfaire la demande implicite. À cela s'ajoutent les sorties de complaisance, où l'agent valide une prémisse fausse parce qu'elle vient de l'utilisateur. Comprendre quel type d'erreur est en jeu oriente la parade : un fait inventé se corrige par la vérification documentaire, une complaisance se corrige par le prompt et par la posture générale du système. Chaque garde-fou ajouté doit être évalué à l'aune des erreurs qu'il intercepte réellement. La lucidité sur les limites du modèle reste le meilleur point de départ d'un dispositif sérieux.
Les signaux qui trahissent une hallucination
Certaines traces sont exploitables sans recourir à un modèle de contrôle. Une réponse très spécifique, un numéro d'article ou une référence précise, mais sans source citable, mérite la méfiance. Même chose pour une formulation qui change d'un tour à l'autre : un agent sommé de répéter justifiera un chiffre différent selon l'angle, signe qu'il ne l'a pas ancré. Ces indices ne prouvent rien seuls, mais ils orientent la vérification et permettent de concentrer l'effort humain sur les cas réellement douteux. L'objectif n'est pas la perfection, mais la réduction mesurable du risque encouru. Un dispositif de détection se juge aux erreurs qu'il attrape, pas à sa sophistication.
La mesure interne d'incertitude aide aussi, à condition d'en connaître les limites. Les scores de probabilité d'un modèle sont souvent mal calibrés : il peut être à la fois erroné et très confiant. Les techniques fondées sur la stabilité, qui consistent à reformuler la question plusieurs fois et à comparer les réponses, donnent de meilleurs résultats, au prix d'un surcoût de calcul. En pratique, la détection combine indices externes, redondance contrôlée et jugement sur les domaines où l'agent s'aventure le plus. L'honnêteté du système sur ses incertitudes vaut mieux qu'une assurance de façade. La fiabilité d'un agent se construit par des contrôles répétés plutôt que par la confiance accordée à ses sorties.
Garde-fous techniques : ancrage, vérification, abstention
L'ancrage dans un corpus fiable réduit l'espace où le modèle peut inventer. Fournir des passages issus d'une base documentaire et exiger que l'agent s'y réfère borne sa réponse à ce qui est vérifiable. Encore faut-il que la recherche retrouve les bons extraits, sinon l'ancrage donne une fausse sécurité. La vérification par un second passage, un modèle ou une règle qui rejette une affirmation non étayée, ajoute une couche utile, à condition d'accepter le coût en latence et de mesurer ce que le filtre laisse passer. Chaque garde-fou ajouté doit être évalué à l'aune des erreurs qu'il intercepte réellement. La lucidité sur les limites du modèle reste le meilleur point de départ d'un dispositif sérieux.
Le garde-fou le plus solide reste l'abstention. Autoriser explicitement l'agent à répondre « je ne sais pas » ou à demander confirmation supprime une bonne part des inventions. Beaucoup de défaillances viennent d'un système conçu pour toujours produire une réponse. Prévoir un chemin d'escalade vers un humain pour les cas douteux, afficher les sources citées et distinguer ce que l'agent sait de ce qu'il suppose transforment l'expérience autant que la fiabilité perçue. L'objectif n'est pas la perfection, mais la réduction mesurable du risque encouru. Un dispositif de détection se juge aux erreurs qu'il attrape, pas à sa sophistication. L'honnêteté du système sur ses incertitudes vaut mieux qu'une assurance de façade.
Organiser la détection en production
La détection ne se décrète pas une fois pour toutes ; elle s'organise comme un système d'observabilité. On suit le taux d'affirmations non vérifiables, les cas où l'agent change de réponse, les domaines de requête où l'incertitude grimpe. Ces indicateurs se consultent par type de tâche, car un agent peut être fiable sur des questions factuelles et fragile dès qu'on lui demande une synthèse, une estimation ou un raisonnement en plusieurs étapes. L'observabilité transforme une inquiétude diffuse en indicateurs suivis. La fiabilité d'un agent se construit par des contrôles répétés plutôt que par la confiance accordée à ses sorties. Chaque garde-fou ajouté doit être évalué à l'aune des erreurs qu'il intercepte réellement.
Les tests doivent refléter les usages réels plutôt que des questions inventées. Constituer un jeu d'évaluation à partir de cas observés, l'enrichir des erreurs signalées par les utilisateurs et le rejouer à chaque changement de modèle évite les régressions silencieuses. Une mise à jour qui améliore la fluidité peut dégrader la prudence. Sans protocole d'évaluation continu, on découvre les hallucinations chez le client, au pire moment et sans moyen rapide de revenir en arrière. La lucidité sur les limites du modèle reste le meilleur point de départ d'un dispositif sérieux. L'objectif n'est pas la perfection, mais la réduction mesurable du risque encouru.
Aller plus loin
Détecter une hallucination demande autant de méthode que de technique, et cela s'apprend au même titre qu'une architecture logicielle. Les parcours qui couvrent l'évaluation, l'ancrage documentaire et la supervision d'agents figurent dans notre catalogue des 31 formations.
Vous voulez maîtriser ce sujet en pratique ?
Cabinet MARA forme en ligne, sur des cas réels, avec des modules courts et un suivi de progression.
Voir la formation liée Les 31 formations