Assistant de connaissances IA : à quelles conditions lui faire confiance

01Une démonstration réussie ne prouve rien

La plupart des assistants de connaissances reposent sur la génération augmentée par la recherche (ouvre un site externe), ou RAG. Le système retrouve les extraits pertinents pour une question, puis un modèle de langage rédige une réponse appuyée sur ces extraits. Sur un dossier propre d’une cinquantaine de documents, le résultat convainc en quelques jours.

En production, le décor change. Contrats, procédures, wikis et tickets s’accumulent depuis vingt ans sur des lecteurs partagés, avec des doublons, des textes périmés et des pièces confidentielles. Au Luxembourg s’y ajoute une particularité : le même sujet existe en français, en allemand et parfois en anglais, dans des versions qui ne sont pas toujours alignées. Dans ce contexte, l’assistant déçoit de deux façons. Soit il se trompe et plus personne ne l’utilise. Soit, plus grave, il se trompe avec aplomb et quelqu’un en tire une décision.

Ce n’est donc pas le choix du modèle qui rend la recherche fiable. Ce sont cinq propriétés de l’ensemble du système, que l’on peut concevoir et, surtout, contrôler par des tests.

02Droits d’accès : rien de plus que ce que la personne peut déjà ouvrir

Le principe tient en une phrase : l’assistant ne montre jamais un extrait que la personne ne pourrait pas ouvrir dans l’application d’origine. Tout se joue sur l’endroit où ce principe est appliqué. Un extrait qui atteint le modèle peut ressortir dans la réponse. Le filtrage intervient donc avant la génération, au stade de la recherche, et il tient compte de qui interroge.

L’OWASP classe parmi les principaux risques des applications de modèles de langage la fuite d’informations sensibles (ouvre un site externe) et les faiblesses des bases vectorielles (ouvre un site externe), notamment quand un contenu franchit une frontière d’autorisation. Quatre exigences pratiques en découlent.

• Chaque fragment indexé porte les droits du document dont il provient, repris du système source et non ressaisis à la main.
• À chaque requête, ces droits filtrent les résultats en fonction du compte connecté, avant tout tri et avant que la réponse ne soit rédigée.
• Une modification de droits se propage au moins aussi vite qu’une modification de contenu, et le délai maximal pour qu’un retrait d’accès prenne effet est convenu à l’avance.
• Les tests se font avec de vrais profils. Vérifier qu’un stagiaire ne retrouve pas les grilles salariales fait partie de la batterie de tests, pas de l’analyse après incident.

03Provenance : des références que l’on peut contrôler

Chaque phrase de la réponse renvoie à son origine : un lien vers le passage exact, le titre, la date ou la version, le nom du responsable. Montrez l’extrait, pas seulement le nom du fichier. Le lecteur voit ainsi d’un coup d’œil si la source appuie vraiment la phrase. Pour l’équipe conformité d’une banque qui interroge les circulaires de la CSSF, cette vérification rapide fait toute la différence.

Le format de réponse doit faire ressortir tout texte sans appui. Une phrase qu’aucun extrait ne soutient est retirée ou signalée. Contrôlez-le automatiquement en rapprochant chaque extrait cité de l’affirmation qu’il est censé étayer, puis faites relire un échantillon par une personne. Une référence présente mais hors sujet est une défaillance fréquente, et discrète.

04Actualité et source qui fait foi

Le savoir d’une organisation existe en plusieurs versions. Demandez « puis-je voyager en classe affaires ? » : l’ancienne politique de voyages et la nouvelle répondent chacune, et pas dans le même sens. Il faut donc indexer ce qui les sépare, à savoir la date d’entrée en vigueur, le statut (projet, validé, abrogé) et le nom du responsable. Le classement favorise les textes validés et en vigueur. Les versions abrogées ne sortent que si l’utilisateur cherche l’historique, et chaque référence affiche sa date. Quand une procédure existe en français et en allemand, rattachez les deux versions au même document, pour qu’une traduction ancienne ne contredise pas le texte à jour.

Désignez pour chaque thème la source qui fait foi. Le règlement du personnel vient du portail RH, pas d’un courriel qui reprend l’édition précédente. Chaque source a son propre rythme de mise à jour de l’index : presque en temps réel pour les dossiers, une fois par jour pour le wiki. Surveillez ce rythme, car un index en retard donne des réponses plausibles et fausses.

05Savoir dire « je n’ai rien trouvé »

Bien souvent, la réponse la plus utile est un aveu de manque. Un modèle de langage sait aligner des phrases fluides que rien ne soutient ; le NIST parle de confabulation (ouvre un site externe) dans son profil consacré à l’IA générative. Ancrer la réponse dans des extraits retrouvés réduit le phénomène sans le supprimer. L’OWASP range d’ailleurs à part le risque qui en découle, la désinformation (ouvre un site externe) : des équipes qui agissent sur une information fausse.

Fixez un seuil de pertinence sous lequel l’assistant déclare n’avoir trouvé aucune source fiable et indique à qui s’adresser. Pour les questions de règles, de droits ou d’obligations, le modèle n’a pas le droit de compléter avec ce qu’il sait par ailleurs. Mesurez ensuite, thème par thème, la part des questions restées sans réponse. Au début, ce relevé vaut souvent plus que tout le reste : il indique aux responsables de contenu les trous exacts de leur documentation.

06L’architecture qui porte ces cinq propriétés

Aucune technologie rare n’est nécessaire. La condition est que droits, métadonnées et contrôles fassent partie du socle dès la conception, au lieu d’être greffés une fois la démonstration terminée.

Les données personnelles méritent un traitement explicite. Un index de documents traite les données personnelles qu’ils contiennent. L’article 5 du RGPD s’applique donc, avec ses principes de limitation des finalités et de minimisation (ouvre un site externe), sous le contrôle de la CNPD au Luxembourg. Laissez de côté les sources inutiles au cas d’usage, vérifiez qu’un effacement dans l’application d’origine se répercute dans l’index, et tenez compte de l’index lorsque vous traitez une demande d’accès.

07Mesurer la qualité, au lancement puis en continu

Quelques questions posées en réunion ne disent rien de la fiabilité. Fixez les critères avec ceux qui possèdent les contenus, puis évaluez chaque couche séparément afin de localiser un défaut.

Le jeu de test se compose de questions vraiment posées : historique des recherches, demandes adressées au support, interrogations des nouvelles recrues. Pour commencer, quelques centaines de questions suffisent, chacune avec la réponse attendue validée par le responsable du contenu. Prévoyez des questions dans chacune des langues de travail de vos équipes. Le jeu complet tourne à chaque évolution : autre modèle, autre découpage des documents, source supplémentaire. Quand les contenus bougent, la qualité glisse sans bruit, et seul un jeu de test fixe permet de le voir.

08Ce que l’utilisateur constate au quotidien

Pour les utilisateurs, tout cela se résume à quelques comportements visibles. Les réponses ne puisent que dans des documents auxquels ils ont accès. Chaque affirmation porte une référence qu’ils peuvent ouvrir. Ils voient l’âge de chaque source. On leur dit franchement quand aucune réponse fiable n’existe. Et ils savent que la qualité est suivie, parce qu’ils peuvent signaler une erreur et la voir corrigée.

Une IA peut encore se tromper, et certaines questions appellent un interlocuteur plutôt qu’un moteur. Assumer cette limite dès la conception ne fragilise pas l’outil. C’est au contraire ce qui pousse les équipes à s’y fier pour tout le reste.