Wann Antworten aus Unternehmens­wissen verlässlich sind

01Das Problem mit der Vorführung

Technisch beruhen fast alle Wissensassistenten auf Retrieval-Augmented Generation (öffnet externe Website). Eine Suche liefert die Textstellen, die zur Frage passen, und ein Sprachmodell formuliert daraus eine Antwort. Mit fünfzig handverlesenen Dokumenten steht in einer Woche eine Vorführung, die beeindruckt.

Der Echtbetrieb ist ein anderes Gelände: zwei Jahrzehnte Netzlaufwerke, Wikis, Tickets, Verträge und Richtlinien, mit Dubletten, Altständen und Vertraulichem. Bei einem Fondsverwalter in Luxemburg liegen französische Verfahrensanweisungen neben Rundschreiben der CSSF (Commission de Surveillance du Secteur Financier) und englischen Konzernvorgaben. In dieser Umgebung geht es auf zwei Arten schief. Entweder ist die Antwort erkennbar falsch, und das Werkzeug wird nicht mehr genutzt. Oder sie ist falsch und klingt richtig, und jemand verlässt sich darauf.

Vertrauen entsteht deshalb weniger durch die Wahl des Modells als durch fünf Eigenschaften des umgebenden Systems. Alle fünf lassen sich bauen und, darauf kommt es an, überprüfen.

02Zugriffsrechte: nur finden, was die Person lesen darf

Der Grundsatz lautet: Was jemand im Quellsystem nicht öffnen darf, bekommt er auch vom Assistenten nicht zu sehen. Wichtig ist, an welcher Stelle das durchgesetzt wird. Alles, was im Kontext des Modells landet, kann in der Antwort wieder auftauchen. Deshalb wird gefiltert, bevor das Modell schreibt, und zwar schon bei der Suche und mit den Rechten der fragenden Person.

Zwei Einträge der OWASP-Liste für LLM-Anwendungen betreffen genau diesen Punkt: Sensitive Information Disclosure (öffnet externe Website) und Vector and Embedding Weaknesses (öffnet externe Website); bei Letzterem geht es auch darum, dass Inhalte über Berechtigungsgrenzen hinweg sichtbar werden. Für die Umsetzung heißt das:

• Jeder Textabschnitt im Index trägt die Berechtigungen seines Quelldokuments, direkt aus dem Quellsystem übernommen und nicht von Hand nachgebaut.
• Filtern Sie bei jeder Anfrage nach diesen Rechten, mit der Identität der angemeldeten Person, noch vor Ranking und Generierung.
• Ein entzogenes Recht muss im Index mindestens so schnell ankommen wie eine geänderte Datei; vereinbaren Sie dafür eine maximale Frist.
• Prüfen Sie mit realen Rollenprofilen. Ob ein Praktikant an die Gehaltstabellen kommt, klärt ein Testfall vor dem Start, nicht die Aufarbeitung danach.

03Herkunft: Belege, die jemand nachprüfen kann

Zu jeder Aussage gehört eine Fundstelle mit Titel, Version oder Datum, zuständiger Stelle und einem Link direkt an die richtige Stelle im Dokument. Zeigen Sie den Textauszug selbst, nicht bloß den Dateinamen. Dann sieht man auf einen Blick, ob er den Satz stützt.

In Luxemburg kommt eine Besonderheit hinzu: Die Frage ist oft deutsch, die Quelle französisch. Zeigen Sie die Passage in ihrer Originalsprache und kennzeichnen Sie eine Übersetzung als solche. Bei luxemburgischen Gesetzen ist ohnehin nur der französische Text authentisch; eine Antwort, die eine Übersetzung als Wortlaut ausgibt, führt in die Irre.

Das Format der Antwort sollte unbelegte Sätze sichtbar machen: Ohne passende Fundstelle fällt ein Satz weg oder wird gekennzeichnet. Ob eine Fundstelle die Aussage wirklich trägt, lässt sich maschinell prüfen, indem man beide gegeneinander abgleicht; ergänzend sieht sich ein Mensch regelmäßig eine Stichprobe an. Besonders tückisch sind Zitate, die zwar existieren, aber etwas anderes sagen als der Satz, an dem sie hängen.

04Aktualität und maßgebliche Quelle

Dokumente veralten, aber sie verschwinden selten. Fragt jemand, ob Business Class erlaubt ist, passen die Reiserichtlinie von 2022 und ihre Nachfolgerin gleich gut, nur mit gegensätzlichem Ergebnis. Compliance-Teams am Finanzplatz kennen das von Rundschreiben, die geändert oder ersetzt werden. Abhilfe schaffen Metadaten im Index: ab wann ein Dokument gilt, in welchem Status es ist (Entwurf, freigegeben, ersetzt) und wem es gehört. Gültige, freigegebene Fassungen stehen in der Rangfolge oben, abgelöste bleiben draußen, außer jemand fragt ausdrücklich nach der Historie. Jede Fundstelle zeigt ihr Datum.

Bestimmen Sie für jedes Thema eine führende Quelle. Fragen zu Urlaub und Gehalt beantwortet das HR-Portal, nicht eine weitergeleitete Mail mit dem Stand vom letzten Jahr. Jede Quelle bekommt ihren eigenen Aktualisierungstakt, für Falldaten fast in Echtzeit, für ein Wiki einmal am Tag, und dieser Takt wird überwacht. Hinkt der Index hinterher, entstehen Antworten, die plausibel klingen und trotzdem falsch sind.

05Ehrliche Lücken: „Dazu habe ich nichts gefunden“

Manchmal ist „Dazu gibt es nichts“ die beste Auskunft. Sprachmodelle erzeugen gern glatte Sätze ohne jede Grundlage, im Risikoprofil des NIST für generative KI als Konfabulation (öffnet externe Website) bezeichnet. Die Bindung an Fundstellen senkt dieses Risiko, schafft es aber nicht aus der Welt. Was passiert, wenn Menschen solchen Ausgaben glauben und danach handeln, behandelt OWASP gesondert unter dem Titel Misinformation (öffnet externe Website).

Technisch heißt das: Unterhalb einer festgelegten Relevanz meldet das System, dass es keine belastbare Quelle hat, und verweist auf eine Ansprechstelle. Geht es um Richtlinien, Ansprüche oder Pflichten, darf das Modell nicht aus allgemeinem Wissen ergänzen. Zählen Sie die unbeantworteten Fragen je Thema. Gerade in der Anfangszeit ist diese Liste oft wertvoller als alles andere, denn sie zeigt den Fachbereichen schwarz auf weiß, wo Dokumentation fehlt.

06Die Architektur hinter den fünf Eigenschaften

Exotische Technik ist dafür nicht nötig. Nötig ist, dass Rechte, Metadaten und Prüfschritte von Anfang an zur Verarbeitungskette gehören und nicht nach der Vorführung angeflanscht werden.

Ein eigenes Thema sind personenbezogene Daten. Wer Dokumente indexiert, verarbeitet die darin enthaltenen Personendaten, und damit greifen die Grundsätze aus Artikel 5 DSGVO, insbesondere Zweckbindung und Datenminimierung (öffnet externe Website). In Luxemburg überwacht das die CNPD (Commission nationale pour la protection des données). Praktisch heißt das: nur die Quellen anbinden, die der Anwendungsfall wirklich braucht, Löschungen aus dem Quellsystem in den Index übernehmen und den Index bei Auskunftsanfragen nach Artikel 15 mit durchsuchen.

07Gemessene Qualität, vor und nach dem Start

Ein paar Probefragen in einer Sitzung sagen über die Verlässlichkeit wenig aus. Legen Sie mit den Fachverantwortlichen Kriterien fest und prüfen Sie jede Schicht getrennt, damit Fehler sich zuordnen lassen. Stellen Sie die Testfragen in allen Sprachen, in denen Ihre Mitarbeitenden tatsächlich fragen.

Woher kommen die Testfragen? Aus dem Alltag: Suchprotokolle, Anfragen an den Helpdesk, das, was neue Kolleginnen und Kollegen in ihren ersten Wochen wissen wollen. Mit einigen hundert Fragen, deren Antworten die Fachverantwortlichen abgenommen haben, kommen Sie weit. Bei jeder Änderung, ob anderes Modell, andere Zerlegung der Dokumente oder zusätzliche Quelle, läuft der komplette Satz erneut. Inhalte ändern sich ständig, und ohne festen Maßstab bemerkt niemand, dass die Qualität nachlässt.

08Woran Nutzende Verläss­lichkeit erkennen

Im Alltag merken Mitarbeitende die Verlässlichkeit an ganz konkreten Dingen. Antworten stammen ausschließlich aus Unterlagen, auf die sie selbst Zugriff haben. Hinter jeder Aussage steht eine Fundstelle zum Anklicken. Das Datum der Quelle ist sichtbar. Gibt es keine belastbare Antwort, sagt das System das klar. Und eine falsche Antwort lässt sich melden; man sieht danach, dass sie behoben wurde. Damit ist klar, dass jemand die Qualität im Blick hat.

Fehler bleiben möglich, und für manche Fragen ist ein Gespräch mit einem Menschen besser als jede Suche. Das offen einzuplanen schwächt das System nicht. Es sorgt dafür, dass man sich im Übrigen darauf verlassen kann.