Deux approches pour ouvrir la boîte noire
Les modèles les plus performants sont souvent les moins lisibles. Un réseau de neurones ou un ensemble d'arbres produit une décision sans exposer la règle qui l'a guidée. SHAP et LIME répondent à ce problème par des chemins différents. La première, issue de la théorie des jeux, répartit l'écart entre la prédiction obtenue et une référence moyenne entre les variables. La seconde, plus locale, approxime le modèle autour d'un cas précis par un modèle simple. Toutes deux cherchent à traduire un calcul complexe en contribution compréhensible par un humain. Leur but commun est de rendre la décision discutable, et donc vérifiable.
Leur intérêt dépasse la curiosité technique. Expliquer une décision, c'est permettre à un utilisateur de la contester, à un auditeur de la contrôler, à un régulateur de l'examiner. Le RGPD ouvre un droit à l'explication pour les décisions entièrement automatisées produisant des effets significatifs. Le règlement européen sur l'intelligence artificielle impose, pour les systèmes à haut risque, transparence, documentation et supervision humaine. SHAP et LIME fournissent des éléments utiles à ces exigences, sans les satisfaire à eux seuls. Un rapport d'explicabilité ne remplace ni la gouvernance ni l'évaluation des biais ; il les nourrit.
SHAP : une contribution par variable
SHAP attribue à chaque variable une contribution chiffrée à la prédiction d'un cas donné. L'idée consiste à mesurer l'effet de la présence ou de l'absence de cette variable, en moyenne sur toutes les combinaisons possibles. Le résultat s'interprète comme une part de responsabilité : telle caractéristique a poussé la décision vers le haut, telle autre vers le bas. La méthode a l'avantage d'être cohérente et additive, ce qui la rend attrayante pour la documentation et la comparaison entre cas. Elle permet de repérer les variables qui pèsent le plus, globalement et pour une personne précise.
Sa mise en œuvre a un coût. Le calcul exact devient lourd quand le nombre de variables augmente, ce qui pousse à des approximations dont il faut connaître les limites. Surtout, SHAP éclaire la mécanique du modèle, pas la légitimité de la décision. Une variable peut peser fortement sans que cela soit juste ou légal : si elle est fortement corrélée à un critère protégé, elle peut véhiculer une discrimination. L'explication dit comment le modèle a décidé, pas si sa décision est acceptable. Confondre les deux est une erreur fréquente et coûteuse. Un rapport d'explicabilité mal compris peut ainsi donner l'illusion de la conformité sans en fournir la substance.
LIME : expliquer localement une décision
LIME prend un autre angle. Plutôt que d'analyser le modèle entier, il s'intéresse à un cas isolé. Il perturbe légèrement les données d'entrée, observe comment la prédiction varie, puis ajuste un modèle simple — souvent linéaire — qui imite le comportement du modèle dans ce voisinage. L'explication obtenue parle directement du cas examiné. Cette approche locale est pratique quand on veut comprendre pourquoi telle personne a reçu telle réponse. Elle présente une explication courte et lisible, adaptée à un dialogue avec un utilisateur ou un responsable métier.
Sa fragilité tient à cette focalisation. L'explication peut changer d'une exécution à l'autre, car la perturbation introduit une part d'aléatoire. Deux analyses du même cas peuvent diverger, ce qui complique l'usage comme preuve formelle. LIME décrit aussi la décision locale sans garantir qu'elle reflète la logique d'ensemble du modèle. Pour ces raisons, la méthode est précieuse pour explorer et comprendre, plus délicate à mobiliser seule devant un contrôle ou un juge. Elle gagne à être combinée avec d'autres mesures, notamment des tests d'équité et une journalisation rigoureuse des décisions. Ces limites n'invalident pas la méthode, elles en circonscrivent l'usage légitime.
Ce que ces méthodes ne prouvent pas
SHAP et LIME expliquent un modèle, pas le monde. Ils traduisent une décision en contributions intelligibles, mais ne disent rien de la qualité des données d'entraînement ni de la validité du raisonnement métier sous-jacent. Un modèle peut être parfaitement explicable et pourtant reposer sur un critère contestable. L'explicabilité technique ne dispense donc pas d'une analyse de fond : quelles données ont servi, au nom de quelles règles, pour quel usage. Ces questions relèvent de la gouvernance et du jugement humain, pas du calcul. La technique éclaire ; elle ne décide pas si une situation est juste.
C'est pourquoi ces outils prennent leur valeur dans un dispositif plus large. Un rapport d'explicabilité s'intègre à une documentation technique, à des tests de robustesse et d'équité, à une supervision humaine et à des journaux de suivi des versions. Il ne remplace aucun de ces éléments, il les complète. La compétence utile ne consiste pas seulement à savoir calculer des valeurs SHAP ou lancer une analyse LIME, mais à interpréter une explication sans la surinterpréter, à dialoguer avec les équipes techniques et juridiques, et à inscrire cette lecture dans une responsabilité claire. Rendre une IA explicable, c'est un travail de dialogue, pas une bibliothèque logicielle.
Aller plus loin
SHAP et LIME éclairent une décision, mais leur valeur dépend de la manière dont on les interprète et les documente. Pour aller plus loin, parcourez le catalogue des 31 formations et repérez les parcours consacrés à la vérification des décisions algorithmiques.
Vous voulez maîtriser ce sujet en pratique ?
Cabinet MARA forme en ligne, sur des cas réels, avec des modules courts et un suivi de progression.
Voir la formation liée Les 31 formations