Ce que le texte demande vraiment
Le règlement européen sur l'intelligence artificielle, adopté en 2024, distingue plusieurs niveaux : des usages interdits, des systèmes à haut risque soumis à des obligations renforcées, et des usages ordinaires aux exigences plus légères. Son application est prévue par étapes entre 2025 et 2026. Pour les systèmes à haut risque, il exige une supervision humaine effective, une documentation des procédés et la capacité de conserver une trace des décisions. Ces exigences portent moins sur le modèle que sur l'usage : ce qu'un système décide, pour qui, et sous quelles garanties. La distinction entre ces niveaux détermine l'effort de contrôle attendu, et donc ce qu'un vérificateur doit examiner en priorité.
Cette orientation a une conséquence directe. On ne vérifie pas une intelligence artificielle en examinant son code, mais en reconstituant le chemin qui mène d'une entrée à une décision. Il faut pouvoir nommer les données traitées, les règles appliquées, le rôle des personnes intervenues et le moment où une décision a été confirmée ou corrigée. Le vérificateur de décisions travaille donc sur des preuves plutôt que sur des principes. Son objet n'est pas de juger si le système est bon, mais d'établir ce qui s'est passé, comment on le sait et qui en répond. Le cadre réglementaire fixe l'attente ; la vérification fournit la démonstration. C'est cette exigence de preuve qui distingue un contrôle sérieux d'une déclaration d'intention.
Vérifier avant, vérifier après
La vérification s'exerce à deux moments qu'il ne faut pas confondre. En amont, avant la mise en service, il s'agit de s'assurer que le système est conçu pour être contrôlable : que les décisions produites seront journalisées, que les données d'entrée sont licites, qu'un humain pourra interrompre ou reprendre la main. En aval, sur des décisions déjà prises, il s'agit de reconstituer des cas précis et de vérifier qu'ils respectent les règles. La première démarche prévient ; la seconde constate. Un dispositif complet tient les deux bouts. Les deux se complètent : l'amont rend l'aval possible, l'aval révèle si l'amont a tenu ses promesses.
Confondre les deux affaiblit la vérification. Une vérification d'amont qui se contente de cocher des cases laisse passer des systèmes intérieurement opaques ; une vérification d'aval sans contrôle à la conception se heurte à des traces absentes et ne peut rien reconstituer. Le bon ordre consiste à préparer la traçabilité dès la conception, puis à l'exploiter sur des cas réels. C'est seulement en confrontant des décisions effectives au cadre prévu que l'on découvre les écarts : une donnée utilisée hors périmètre, un contrôle humain devenu pure formalité, une règle appliquée à contretemps. La vérification d'amont installe les instruments, celle d'aval les fait parler. Un dispositif qui ne vérifie que sur le papier se reconnaît à ses conclusions invariablement rassurantes.
Le registre des décisions comme colonne vertébrale
Sans trace, pas de vérification possible. Le cœur d'un tel dispositif est un registre où chaque décision laisse une empreinte : quel système a agi, à partir de quelles données, selon quelles règles, avec quelle intervention humaine, à quelle date. Ce registre n'est pas un journal technique réservé aux ingénieurs : il doit rester exploitable par des personnes qui n'ont pas conçu le système. Sa conception fait donc partie de l'exigence au même titre que le système lui-même. Une décision non documentée est, du point de vue du contrôle, une décision qui n'a pas eu lieu. Il doit aussi rester lisible longtemps après les faits, quand les équipes ont changé et que la mémoire humaine fait défaut.
La difficulté tient à la tenue dans le temps. Un registre alimenté au fil de l'eau coûte peu ; reconstitué à la hâte au moment de répondre à une demande, il se trompe ou reste vide. Il faut donc prévoir dès le départ ce qui mérite d'être consigné et sur quelle durée. En lien avec les obligations du RGPD, applicable depuis 2018, la conservation des données personnelles liées aux décisions pose ses propres questions de durée et de finalité. Un registre bien pensé distingue ce qu'il faut garder, combien de temps et pour quel usage. Sans ces règles, on accumule sans rien pouvoir prouver. Une donnée conservée sans règle claire devient un risque au lieu d'une preuve.
L'humain dans la boucle n'est pas une signature
La supervision humaine figure au cœur des obligations pour les systèmes à haut risque. Mais une supervision de papier n'est pas une supervision réelle. Si l'opérateur valide en série des décisions qu'il n'a ni le temps ni les moyens de comprendre, la présence humaine n'est qu'une signature apposée après coup. Le règlement européen, comme la norme ISO 42001 publiée en 2023, insistent sur une supervision effective : celui qui valide doit avoir l'information, le temps et l'autorité pour contester. Le vérificateur doit donc examiner moins l'existence d'un contrôle que sa réalité. Une validation en série, même sincère, n'apporte pas plus de garantie qu'une absence de contrôle.
C'est là que la vérification devient inconfortable, car elle peut révéler que l'humain n'a jamais eu de prise réelle. Un système laissé en validation automatique, un volume de décisions trop élevé pour être examiné, une interface qui n'affiche pas les raisons d'un refus : autant de situations où la responsabilité est affirmée sans être exercée. Les relever honnêtement sert l'organisation, qui corrige avant qu'un tiers ne le fasse. Le vérificateur de décisions n'a pas pour mission de rassurer mais d'établir les faits, y compris quand ils dérangent. C'est cette exigence qui donne sa valeur au contrôle. C'est en nommant ces angles morts que le dispositif progresse, non en les passant sous silence.
Aller plus loin
Vérifier des décisions algorithmiques suppose de connaître les obligations du règlement européen, de tenir un registre exploitable et de contrôler la réalité de la supervision humaine. Notre catalogue des 31 formations propose des parcours consacrés à la conformité et à la gouvernance des systèmes d'IA.
Vous voulez maîtriser ce sujet en pratique ?
Cabinet MARA forme en ligne, sur des cas réels, avec des modules courts et un suivi de progression.
Voir la formation liée Les 31 formations