Wat eng Wëssenssich an der Entreprise vertrauenswierdeg mécht

01De Problem vun der Demo

Déi meescht Wëssensassistente follegen deemselwechte Muster, bekannt als Retrieval-Augmented Generation (mécht eng extern Websäit op): d’Passagë fannen, déi zu enger Fro passen, an dann e Sproochmodell eng Äntwert schreiwe loossen, déi op dëse Passagen opbaut. Op engem ausgewielten Dossier vu fofzeg Dokumenter funktionéiert dat bannent enger Woch iwwerzeegend.

An der Produktioun gesäit dat anescht aus. Zwanzeg Joer gedeelt Netzlaafwierker, Wikien, Tickets, Kontrakter a Politiken, vill dovun duebel, vereelzt oder vertraulech. An deem Kader feelt den Assistent op zwou Manéieren. E gëtt eng falsch Äntwert an d’Leit benotzen en net méi. Oder, méi schlëmm, e gëtt eng falsch Äntwert mat Iwwerzeegung an d’Leit handelen dono.

Eng vertrauenswierdeg Wëssenssich hänkt dofir manner vum Modell of a méi vu fënnef Eegenschafte vum System ronderëm. All eenzel kann een designen an, wat wichteg ass, testen.

02Rechter: nëmmen ofruffen, wat de Benotzer liesen däerf

D’Reegel ass einfach: den Assistent däerf enger Persoun ni e Passage weisen, deen déi Persoun an der Quell net opmaache kéint. Wat zielt, ass de Punkt, wou d’Reegel duerchgesat gëtt. Wann e Passage beim Modell ukënnt, gitt dovun aus, datt en an der Äntwert optauche kann. D’Rechter mussen dofir virun der Generatioun ugewannt ginn, beim Ofruff, fir de Benotzer, deen d’Fro stellt.

OWASP zielt souwuel Sensitive Information Disclosure (mécht eng extern Websäit op) wéi och Vector and Embedding Weaknesses (mécht eng extern Websäit op), dorënner Lecken iwwer d’Grenze vu Rechter ewech, zu den Haaptrisike vu Sproochmodell-Applikatiounen. An der Praxis féiert dat zu véier Ufuerderungen. Bei enger Bank oder engem Fongsverwalter heescht dat zum Beispill: d’Compliance-Equipe gesäit d’Circulairë vun der CSSF an déi intern Prozeduren, déi fir si bestëmmt sinn, mee net d’Personaldossieren.

• Späichert d’Zougangsrechter vun all Quelldokument mat all Stéck am Index, aus dem Quellsystem iwwerholl an net mat der Hand nei definéiert.
• Filtert beim Ofruff op dës Rechter, mat der Identitéit vum ugemellte Benotzer, virum Ranking an der Generatioun.
• Synchroniséiert Ännerunge vu Rechter op d’mannst esou séier wéi Ännerunge vum Inhalt, a leet fest, wéi séier e Recht, dat ewechgeholl gouf, ophale muss ze gëllen.
• Testt mat echte Rollen. „Fënnt e Stagiaire d’Salairestabellen?“ gehéiert an d’Testsuite, net an eng Analys no engem Tëschefall.

03Hierkonft: Quellenugaben, déi een nopréiwe kann

All Ausso an enger Äntwert soll op de Passage weisen, aus deem se kënnt: Titel vum Dokument, Versioun oder Datum, Verantwortlechen an e Link, deen op der richteger Plaz opgeet. Weist de Passage selwer, net nëmmen den Numm vum Dokument, sou datt de Lieser a Sekonne gesäit, ob d’Quellenugab de Saz stëtzt.

Designt d’Format vun der Äntwert esou, datt Text ouni Quell opfält. Wa kee fonnte Passage e Saz stëtzt, soll de System en ewechloossen oder markéieren. Kontrolléiert dat dann automatesch: vergläicht all zitéierte Passage mat der Ausso, déi e stëtze soll, a gitt eng Stéchprouf zur mënschlecher Iwwerpréiwung. Quellenugaben, déi et gëtt, déi d’Ausso awer net stëtzen, sinn en heefegen a rouege Feeler.

04Aktualitéit an Autoritéit

D’Wësse vun enger Organisatioun huet Versiounen. Déi al an déi nei Versioun vun engem Gemengereglement iwwer d’Offallsammlung passe béid op d’Fro „Wéini gëtt d’Glas ofgeholl?“, a si ginn ënnerschiddlech Äntwerten. Indexéiert d’Metadonnéeën, déi se auserneen halen: Datum vum Akraafttrieden, Status (Entworf, approuvéiert, ersat) a Verantwortlechen. Klasséiert aktuell, approuvéiert Dokumenter als éischt, schléisst ersat Dokumenter aus, ausser de Benotzer freet no der Geschicht, a weist den Datum an all Quellenugab. Wann eng Gemeng hir Reglementer op Franséisch an op Däitsch huet, gehéieren déi zwou Versiounen zesummen indexéiert, mat deemselwechten Datum a Status.

Leet pro Theema fest, wéi eng Quell maassgeblech ass. D’Politik vum Personalservice kënnt aus dem HR-Portal, net aus enger E-Mail, déi d’Versioun vum leschte Joer zitéiert. Leet pro Quell e Rhythmus fir d’Neiindexéierung fest, vu bal Echtzäit fir Falldonnéeë bis deeglech fir e Wiki, an iwwerwaacht en: en ale Index produzéiert Äntwerten, déi richteg ausgesinn an et net sinn.

05Éierlech Lücken: „Ech hunn dat net fonnt“

Dacks ass eng éierlech Lück déi wäertvoll Äntwert. Sproochmodeller kënne flësseg Aussoe maachen, déi duerch näischt gestëtzt sinn; NIST nennt dat Confabulation (mécht eng extern Websäit op) a sengem Profil fir generativ KI. D’Verankerung a fonnte Passagë reduzéiert dat, mee et verschwënnt net ganz. OWASP behandelt d’Folgen, datt Leit op falsch Resultater handelen, als eegene Risiko ënner Misinformation (mécht eng extern Websäit op).

Leet e Relevanzseuil fest, ënner deem de System seet, datt e keng zouverlässeg Quell fonnt huet, a proposéiert, wou ee soss froe kann. Bei Froen iwwer Politiken, Rechter oder Obligatioune loosst de Modell keng Lücke mat allgemengem Wëssen ausfëllen. Verfollegt dann den Undeel vun de Froen ouni Äntwert pro Theema. An den éischte Méint ass dës Lëscht dacks dat nëtzlechst Resultat vum ganze Projet: si weist de Verantwortleche vun den Inhalter genee, wou Dokumentatioun feelt.

06D’Architektur hannert de fënnef Eegenschaften

Dat alles brauch keen exotesche Stack. Et brauch, datt Rechter, Metadonnéeën a Kontrolle fest Deeler vun der Pipeline sinn an net Funktiounen, déi no der Demo dobäikommen.

Perséinlech Donnéeë verdéngen explizit Opmierksamkeet. En Index vun Dokumenter ass ëmmer nach eng Veraarbechtung vun de perséinlechen Donnéeën dorënner, dofir gëllen d’Prinzipie vum RGPD vun der Zweckbegrenzung an der Dateminimiséierung (mécht eng extern Websäit op) (Artikel 5). Loosst Quellen ewech, déi de Fall net brauch, suergt dofir, datt Läschungen an engem Quellsystem och am Index ukommen, an huelt den Index mat, wann Dir op eng Demande ëm Zougang äntwert.

07Gemoosse Qualitéit, virum an nom Start

Ob eppes vertrauenswierdeg ass, kann een net bewäerten, andeems een an enger Reunioun e puer Froe probéiert. Leet Qualitéitscritèrë mat de Leit fest, déi fir d’Inhalter verantwortlech sinn, a moosst all Schicht separat, sou datt Dir wësst, wou e Problem ze léisen ass.

Baut den Testset aus echte Froen op: Sichprotokoller, Helpdesk-Tickets, Froen, déi nei Kollege stellen. E puer honnert Froe mat Äntwerten, déi d’Verantwortlech fir d’Inhalter approuvéiert hunn, sinn e praktesche Start. Bei enger Compliance-Equipe kënnen dat Froen iwwer d’Circulairë vun der CSSF an déi intern Prozedure sinn. Loosst de ganze Set bei all Ännerung lafen, egal ob en neie Modell, eng nei Chunking-Strategie oder eng nei Quell. D’Qualitéit dréift roueg of, wa sech d’Inhalter änneren, an nëmmen e fixen Testset mécht dës Ofdrift siichtbar.

08Wéi vertrauenswierdeg fir e Benotzer ausgesäit

Fir d’Leit, déi en notzen, kënnt dat alles op e puer siichtbar Verhalen eraus. Den Assistent äntwert nëmmen aus Dokumenter, déi si liesen däerfen. All Ausso huet eng Quellenugab, déi si opmaache kënnen. Si gesinn, wéi aktuell eng Quell ass. Si kréie kloer gesot, wann et keng zouverlässeg Äntwert gëtt. A si wëssen, datt een d’Qualitéit moosst, well si eng falsch Äntwert mellen a gesi kënnen, wéi se korrigéiert gëtt.

Resultater vun der KI kënnen ëmmer nach falsch sinn, an e puer Froe verdénge léiwer e Mënsch wéi eng Sich. Dat oppen ze plangen ass keng Schwächt vum System. Et ass dat, wat d’Leit bereet mécht, sech fir de Rescht drop ze verloossen.