Interpréter, expliquer, vérifier : trois gestes distincts
L'interprétabilité désigne la capacité à comprendre pourquoi un modèle produit telle sortie. L'explicabilité, souvent confondue avec elle, décrit les moyens de rendre cette compréhension communicable à quelqu'un qui n'a pas entraîné le système. Vérifier, enfin, consiste à contrôler qu'un modèle se comporte comme il l'annonce, sur les cas attendus comme sur les cas limites. Ces trois gestes ne se recouvrent pas. On peut obtenir une explication plausible sans avoir rien vérifié, et l'on peut vérifier un comportement sans comprendre finement les mécanismes internes. Confondre ces niveaux mène à des conclusions trompeuses, notamment quand une belle visualisation sert à masquer l'absence de contrôle réel.
Distinguer ces niveaux change la manière de travailler. L'ingénieur qui entraîne un modèle n'a pas les mêmes besoins que l'auditeur qui doit attester de sa conformité, ni que l'utilisateur qui veut savoir sur quoi s'appuyer. Une explication destinée au grand public n'a pas à entrer dans le détail d'une architecture ; un dossier de conformité, si. Le vocabulaire de l'interprétabilité sert précisément à nommer ce que l'on cherche et pour qui. Faute de cette précision, on produit des rapports volumineux qui rassurent sans éclairer, et l'on rate l'essentiel : un modèle vérifié est un modèle dont on sait dire les limites, pas seulement vanter les performances.
L'opacité n'est pas un défaut à corriger à tout prix
Les grands modèles, en particulier ceux fondés sur des réseaux profonds, reposent sur des millions de paramètres ajustés par apprentissage. Personne ne peut lire cette masse et en déduire une règle. Cette opacité structurelle explique pourquoi l'interprétation procède par approximation : on analyse l'effet d'une entrée, on observe quelles variables pèsent, on teste des contraintes. Ces méthodes éclairent sans dissiper le mystère, et prétendre le contraire serait malhonnête. Un modèle peut être très performant et rester largement inexplicable dans son détail, ce qui oblige à déplacer la vérification ailleurs : sur les données, sur les tests, sur les garanties d'usage.
Ailleurs, cela signifie souvent accepter de ne pas tout comprendre pour mieux surveiller ce qui compte. On vérifie la qualité et la représentativité des données d'entraînement, on mesure les écarts de performance selon les sous-populations, on encadre les usages par des règles explicites. Cette approche, moins spectaculaire qu'une jolie explication graphique, tient mieux face à un incident. Elle rejoint les obligations du règlement européen sur l'intelligence artificielle, adopté en 2024, qui impose selon les niveaux de risque une documentation et une maîtrise des systèmes, ainsi que des exigences de transparence envers les personnes concernées. La vérification outille cette exigence plutôt qu'elle ne la remplace.
Les méthodes d'explication et ce qu'elles valent
Les techniques d'explication attribuent à chaque variable une contribution à la décision. Elles permettent de repérer les facteurs déterminants, de détecter des dépendances absurdes et de comparer plusieurs modèles. Leur faiblesse est connue : une explication est elle-même un modèle du modèle, donc approximative. Deux méthodes appliquées au même système peuvent donner des résultats divergents, et rien n'indique laquelle dit vrai. Savoir lire ces sorties avec prudence fait partie du métier. Une attribution de poids n'est pas une preuve de causalité, et confondre corrélation et cause expose à des corrections inutiles ou dangereuses.
Les tests contrefactuels complètent le tableau : que se passerait-il si cette variable changeait ? Cette question, proche de ce qu'exige un droit à l'explication, oblige à envisager des scénarios que les données ne contiennent pas toujours. Là encore, la prudence s'impose : un scénario virtuel n'engage pas la même confiance qu'une observation réelle. Le bon réflexe consiste à croiser plusieurs méthodes, à documenter leurs limites et à ne jamais fonder seul un avis sur une explication unique. La vérification d'un modèle est un faisceau d'indices convergents, pas la consultation d'un oracle. Cette humilité méthodologique sépare l'expert du vendeur de certitudes.
Ce qu'une vérification sérieuse doit laisser derrière elle
Une vérification qui ne produit rien de réutilisable a peu de valeur. Ce qui compte est la trace : jeux de tests conservés, résultats datés, décisions documentées, procédures de recours prévues. Cette matérialité permet de répondre à un régulateur, à un client ou à une personne qui conteste une décision automatisée. Elle permet aussi de constater qu'un modèle a dérivé, que les données ont changé, que le comportement observé hier n'est plus celui d'aujourd'hui. Sans cette archive, chaque contrôle repart de zéro et personne ne peut démontrer que le système a été suivi dans le temps. La mémoire du contrôle est la preuve du contrôle.
Ce travail s'inscrit dans le cadre fixé par le RGPD pour les données personnelles et par une norme de management comme l'ISO 42001 pour la gouvernance des systèmes d'IA. Ces référentiels ne disent pas quelle méthode choisir ; ils imposent de pouvoir justifier ses choix et de mesurer les risques. Le vérificateur se situe à cette jonction : il traduit une exigence abstraite en actes observables, sans s'abriter derrière un jargon rassurant. En cas de doute sur l'application d'une règle, il documente l'incertitude au lieu de l'effacer. Cette rigueur, plus que la performance d'un outil, distingue une vérification crédible d'une campagne de tests vite expédiée.
Aller plus loin
Vérifier un modèle s'apprend en manipulant des jeux de données, des tests de robustesse et des documents de traçabilité, pas en survolant des articles théoriques. Notre catalogue des 31 formations détaille les parcours consacrés à l'évaluation et à l'audit des systèmes d'intelligence artificielle.
Vous voulez maîtriser ce sujet en pratique ?
Cabinet MARA forme en ligne, sur des cas réels, avec des modules courts et un suivi de progression.
Voir la formation liée Les 31 formations