Une expérience qui déborde du cadre de l'écran
L'expérience utilisateur d'un produit IA ne se joue pas seulement dans l'interface. Elle commence avant l'ouverture de l'application, dans ce que la personne croit que l'outil sait faire, et se prolonge après, dans la vérification du résultat et la décision de s'y fier. Évaluer uniquement l'écran revient à ignorer la moitié du parcours réel. Les attentes nourries par ailleurs — réputation, discours commercial, expériences passées avec d'autres assistants — pèsent lourd sur la satisfaction véritable. Une évaluation sérieuse intègre ce contexte plus large plutôt que de le traiter comme un bruit à éliminer.
Cette extension du champ complique la mesure, mais elle l'enrichit considérablement. On ne se contente plus de chronométrer l'accomplissement d'une tâche, on interroge ce que l'utilisateur emporte avec lui : a-t-il compris la portée de la réponse, saurait-il la reproduire seul, oserait-il s'y fier pour une décision importante ? Ces questions déplacent l'évaluation du confort immédiat vers l'usage éclairé. Un produit agréable mais trompeur échoue à cet examen, même si ses métriques d'engagement restent excellentes sur le papier et rassurent les tableaux de bord internes pendant plusieurs mois. Cette perspective oblige à sortir de la salle de test pour écouter ce qui se dit ailleurs, dans les fils de discussion internes ou les retours d'assistance.
Variabilité des réponses et attentes de l'utilisateur
Un système déterministe donne la même réponse à la même entrée ; un modèle génératif, non. Cette variabilité déroute les protocoles de test hérités du logiciel classique, fondés sur la reproductibilité. Évaluer l'expérience d'un produit IA suppose d'accepter une part d'imprévisible et de la cadrer avec méthode : on teste plusieurs formulations, on mesure la stabilité des réponses sur une même intention, on identifie les cas où le système part dans une direction inattendue. La qualité ne se juge plus sur une seule exécution, mais sur une distribution de comportements observés dans des conditions comparables d'un test à l'autre.
L'utilisateur, lui, navigue avec des attentes floues. Il ne sait pas si l'outil peut se tromper, s'il retient le contexte, s'il agit vraiment ou se contente de parler. Ces zones d'incertitude façonnent l'expérience bien plus que la couleur des boutons ou la place d'un menu. Une évaluation utile cartographie ces attentes avant de mesurer l'écart avec ce que le système fait réellement. Réduire le décalage entre ce que la personne imagine et ce que la machine accomplit est souvent le levier d'amélioration le plus rentable, bien avant de toucher une seule ligne du modèle lui-même. Mieux vaut d'ailleurs formuler ces attentes explicitement dans l'interface, par un message court qui dit ce que l'outil sait et ne sait pas faire.
Des protocoles de test adaptés au probabiliste
Les tests d'utilisabilité restent pertinents, à condition de les adapter au terrain. On multiplie les scénarios proches pour éprouver la constance, on introduit des cas limites et des demandes ambiguës pour voir comment le système et l'utilisateur s'en sortent ensemble. On observe moins le succès d'une tâche que la manière dont la personne réagit à une réponse inattendue : vérifie-t-elle, reformule-t-elle, abandonne-t-elle ? Ces comportements renseignent sur la robustesse perçue de l'outil, souvent plus déterminante que sa performance brute mesurée en laboratoire sur des jeux de données soigneusement préparés. On garde trace de chaque exécution pour comparer, car deux sessions identiques en apparence peuvent diverger sur des détails négligés.
Le recueil de données gagne également à couvrir l'ensemble des interactions, pas seulement les clics finaux. Journaux de conversation, temps d'hésitation avant validation, retours en arrière, part de réponses copiées ou modifiées : autant de signaux qui dessinent une expérience réelle et non reconstituée. Les croiser avec des entretiens courts, menés à chaud, permet de comprendre les intentions derrière les gestes observés. Aucun de ces indicateurs ne remplace le jugement humain, mais ensemble ils donnent à l'équipe une base solide pour arbitrer entre plusieurs pistes de conception concurrentes. Le rythme d'analyse importe aussi : un traitement trop lent à chaud décourage l'équipe, un traitement différé de plusieurs mois rend les conclusions inexploitables.
Des signaux faibles aux décisions de conception
Une évaluation n'a de valeur que si elle change quelque chose de concret. Les signaux recueillis doivent se traduire en décisions : reformuler un message d'attente, borner clairement le domaine de compétence de l'assistant, proposer une source vérifiable en appui d'une affirmation, ajouter une étape de confirmation avant une action engageante. Chaque arbitrage se justifie par un comportement observé, pas par un goût personnel. Cette traçabilité protège l'équipe des débats d'opinion sans fin et donne à la direction des arguments tangibles lorsqu'il faut défendre un choix de conception devant un comité.
Ces décisions s'inscrivent aussi dans un cadre plus large. Les principes d'accessibilité, portés en France par le RGAA et en Europe par la norme EN 301 549, s'appliquent pleinement aux interfaces d'IA : contrastes, navigation au clavier, compréhension des messages. S'y ajoutent les attentes du règlement européen sur l'IA en matière d'information de l'utilisateur et de maîtrise des risques. Une démarche d'évaluation bien menée alimente naturellement ces obligations, transformant une contrainte réglementaire en méthode de travail utile au quotidien. Anticiper ces exigences dès la phase de conception évite de reprendre après coup une interface dont la logique d'ensemble reste à revoir.
Aller plus loin
Évaluer l'expérience d'un produit IA demande des méthodes spécifiques qu'on n'acquiert pas en survolant le sujet. Pour monter en compétence sur ces approches, parcourez le catalogue des 31 formations.
Vous voulez maîtriser ce sujet en pratique ?
Cabinet MARA forme en ligne, sur des cas réels, avec des modules courts et un suivi de progression.
Voir la formation liée Les 31 formations