La fenêtre de contexte n'est pas une mémoire
La fenêtre de contexte désigne la quantité de texte qu'un modèle peut traiter en une seule fois. Elle s'est considérablement élargie ces dernières années, mais elle reste bornée et coûteuse : chaque token envoyé est facturé et ralentit la réponse. Surtout, elle ne retient rien d'une requête à l'autre. Un assistant qui semble se souvenir qu'un utilisateur préfère les réponses courtes ne le fait que parce que quelqu'un a replacé cette information dans le contexte au bon moment. Confondre cette fenêtre avec une mémoire durable conduit à des architectures fragiles qui s'écroulent dès que la conversation s'allonge.
Cette confusion a une conséquence pratique immédiate : un très long contexte n'est pas un substitut de mémoire. Y déverser des documents entiers dilue le signal utile, augmente la latence et accroît le risque que le modèle ignore l'instruction la plus pertinente, noyée au milieu d'un bruit volumineux. Ajouter du texte ne garantit jamais qu'il soit lu et pris en compte. La mémoire artificielle commence précisément là où cette limite apparaît : quand il faut choisir ce qui mérite d'être rappelé, sous quelle forme, et à quel moment le réinjecter dans la conversation sans saturer le modèle.
Mémoire externe : index vectoriels et recherche augmentée
Le mécanisme le plus répandu transforme les textes en vecteurs — des suites de nombres qui rapprochent les contenus de sens voisin. Ces vecteurs sont stockés dans un index interrogeable, souvent appelé base vectorielle. Face à une question, le système y cherche les passages les plus proches, puis les insère dans le contexte avant de générer la réponse. Cette approche, la génération augmentée par récupération, permet de fonder un modèle sur des documents d'entreprise sans jamais le réentraîner, ce qui la rend rapide à déployer et peu coûteuse à faire évoluer.
Sa qualité dépend presque entièrement de la préparation des données. Un découpage trop grossier noie l'information utile dans des passages hors sujet ; trop fin, il la coupe de son contexte et la rend ambiguë. Un index mal entretenu renvoie des documents périmés et le modèle répond avec assurance sur la base d'une version obsolète d'une procédure. Prévoir une date de validité par document, une hiérarchie de sources et un droit d'accès par utilisateur n'est pas un raffinement : c'est ce qui sépare un assistant fiable d'un générateur de contresens.
Résumer, oublier, hiérarchiser
Une mémoire utile n'est pas exhaustive, elle est sélective. Les architectures sérieuses combinent plusieurs niveaux : la conversation récente, conservée intégralement ; un résumé des échanges plus anciens, régénéré périodiquement ; des faits durables, extraits puis stockés à part dans une fiche de profil. Ce travail de compression imite en partie la mémoire humaine, qui conserve le sens et laisse filer les détails mineurs. Il faut aussi décider ce que l'on oublie, et selon quelle règle précise, car une mémoire qui n'oublie jamais devient un fardeau technique autant qu'un risque juridique.
L'oubli n'est pas un aveu de faiblesse mais une exigence. Conserver indéfiniment des données personnelles crée des obligations au titre du RGPD et expose à des fuites inutiles en cas d'incident. Une mémoire bien conçue porte une durée de vie par information, permet l'effacement à la demande et distingue ce qui relève de la session, du compte ou de la base commune à toute l'organisation. Ces choix se décident à la conception, pas après coup, car ils déterminent ce que le produit pourra légitimement prétendre faire et ce qu'il devra promettre de ne pas garder.
Ce que la mémoire change dans un produit
Ajouter de la mémoire transforme l'expérience d'un assistant. Un agent qui se rappelle les projets en cours évite de reposer vingt fois les mêmes questions d'une session à l'autre ; un support qui connaît l'historique d'un client traite le problème sans le faire répéter. Le gain est tangible et se mesure en temps rendu à l'utilisateur, souvent en confort de travail. Mais il crée aussi une attente : celle d'une continuité parfaite, d'un assistant qui saurait tout de vous, que bien peu de systèmes assurent réellement sans se tromper parfois lourdement.
D'où l'importance d'une mémoire explicite et lisible. L'utilisateur doit pouvoir savoir ce que le système retient de lui, corriger une information fausse et l'effacer d'un geste simple. Les assistants opaques qui découvrent soudain un détail personnel ancien produisent un malaise légitime, parfois durable. Concevoir la mémoire comme une base consultable, avec une interface de gestion, coûte du travail mais installe la confiance. C'est ce travail invisible, rarement mis en avant dans les démonstrations, qui distingue un prototype séduisant d'un outil réellement adopté au quotidien. C'est un critère de choix aussi sérieux que la puissance brute du modèle retenu.
Aller plus loin
La mémoire sépare le prototype de démonstration du produit utilisable au quotidien, et son architecture se décide dès les premières lignes de code. Le catalogue des 31 formations comprend le parcours d'ingénierie de la mémoire artificielle et de la recherche augmentée.
Vous voulez maîtriser ce sujet en pratique ?
Cabinet MARA forme en ligne, sur des cas réels, avec des modules courts et un suivi de progression.
Voir la formation liée Les 31 formations