Zum Hauptinhalt springen
FromNine
Menü

KI & Daten

Generative KI, die im laufenden Betrieb besteht.

Wir entwickeln Anwendungen mit generativer KI auf Grundlage Ihres eigenen Wissens und Ihrer Daten: Die Suche beachtet Berechtigungen, jede neue Version muss eine Evaluierung bestehen, und Kosten, Qualität und Antwortzeit bleiben jederzeit sichtbar.

Für Organisationen in Luxemburg, deren Wissen auf Französisch, Deutsch und Englisch vorliegt und deren KI über mehrere Länder hinweg funktionieren muss.

Projekt anfragenWissenszugang ansehen
KI-Engineering & generative KI: die BausteineVier gestaffelte Ebenen: zuerst die Suche in Ihren Quellen, dann das Modell-Gateway, darunter Evaluierung und Leitplanken und am Ende die Anwendung für Ihre Mitarbeitenden. Ein durchgehender Pfad verbindet Quellen und Anwendung.01Retrieval über Ihre Quellen02Modell-Gateway und Routing03Evaluierung und Leitplanken04Anwendung im Produktivbetrieb
  1. 01Jede Antwort nennt ihre Quelle; fehlt der Beleg, antwortet das System nicht
  2. 02Referenzdatensatz und Regressionsprüfungen, vor dem Start mit Ihren Fachleuten festgelegt
  3. 03Modellwahl und Budgets, die Kosten und Antwortzeit pro Anfrage offenlegen

01 Probleme

Woran generative KI hängen bleibt

Selten ist das Modell die Schwierigkeit. Die meisten Vorhaben stocken an allem, was um das Modell herum liegt.

  1. 01

    Der Pilot hat überzeugt, aber niemand weiß, ob er gut ist

    Ein paar Personen haben ein paar Fragen gestellt, das war die Qualitätsprüfung. Ohne Testdatensatz wird jede Prompt-Änderung und jeder Modellwechsel zum Glücksspiel.

  2. 02

    Der Assistent zeigt Dokumente, die niemand sehen dürfte

    Die Inhalte wurden ohne ihre Zugriffsrechte indexiert. Informationssicherheit und Betriebsrat halten die Einführung an, und das zu Recht.

  3. 03

    Die Kosten steigen schneller als die Nutzung

    Jede Anfrage landet beim größten Modell mit dem längsten Kontext. Was eine einzelne Antwort kostet, weiß niemand, also steuert es auch niemand.

  4. 04

    Die Antworten klingen richtig und sind es nicht

    Gefunden werden fast passende Stellen, das Modell ergänzt den Rest in gutem Deutsch oder Französisch, und spätestens beim dritten überzeugend formulierten Irrtum glaubt niemand mehr den Antworten.

02 Leistungsumfang

Was wir liefern

  1. 01 Retrieval und Wissens­systeme für Unternehmen

    Wir entwerfen die Suche für jede Quelle eigens: wie Inhalte zerlegt und in Abschnitte geteilt werden, wie Stichwort- und Vektorsuche zusammenspielen und wie die Zugriffsrechte jeden Abschnitt begleiten. Darauf bauen Wissensassistenten für Unternehmen auf.

    Was wir tun

    • Bestandsaufnahme der Quellen mit Verantwortlichen, Formaten und Berechtigungsmodellen
    • Zerlegung und Metadaten je Dokumenttyp, auch für französische und deutsche Texte
    • Hybride Stichwort- und Vektorsuche mit Re-Ranking
    • Retrieval, das die Zugriffsrechte der Quelle übernimmt

    Was Sie erhalten

    • Ingestion-Pipelines, die Änderungen erkennen
    • Retrieval-Dienst mit Quellenangaben und Regeln für Nicht-Antworten
    • Bericht zur Retrieval-Qualität pro Quelle

  2. 02 Modell­strategie ohne Anbieter­bindung

    Zwischen Anwendung und Modell sitzt ein Gateway. Darüber verteilen Sie Anfragen nach Aufgabe, schalten bei Störungen eines Anbieters auf einen anderen um und wechseln das Modell, wenn Preis oder Leistung es nahelegen.

    Was wir tun

    • Abwägung zwischen großen gehosteten Modellen, Bereitstellungen in EU-Rechenzentren und offenen Modellen im Eigenbetrieb
    • Routing nach Aufgabe, Vertraulichkeit und Kosten
    • Ausweichpfade, Timeouts, Caching und Ratenbegrenzung
    • Bedingungen zur Datenverarbeitung, geprüft mit Ihrer Rechtsabteilung und Ihrer IT-Sicherheit

    Was Sie erhalten

    • Modell-Gateway mit Routing-Regeln als Konfiguration
    • Dokumentierte Modellentscheidung pro Anwendungsfall
    • Budget für Kosten und Antwortzeit je Anfragetyp

  3. 03 Evaluierung als Ingenieurs­disziplin

    Die Qualitätskriterien legen wir mit den Verantwortlichen des Prozesses fest und machen daraus Testdatensätze, die bei jeder Änderung laufen. Prüfungen, bei denen ein Modell bewertet, gleichen wir zuerst mit menschlicher Bewertung ab, bevor wir uns darauf verlassen.

    Was wir tun

    • Referenzdatensätze je Anwendungsfall, erstellt mit Ihren Fachleuten
    • Retrieval und Textgenerierung offline getrennt bewerten
    • Red-Teaming gegen Prompt-Injection und Datenabfluss
    • Online-Bewertung aus Rückmeldungen im Betrieb und Stichproben

    Was Sie erhalten

    • Evaluierungssuite in der CI als Freigabeschwelle
    • Qualitätskriterien, von der Fachseite unterzeichnet
    • Ergebnisse des Red-Teamings mit Gegenmaßnahmen

  4. 04 LLMOps und Beobachtbarkeit

    Jede Anfrage ist lückenlos verfolgbar, von der Frage über die Fundstellen und den Modellaufruf bis zur Antwort. Prompts und Modelle tragen Versionsnummern wie Software, und im Betrieb greifen feste Budgets.

    Was wir tun

    • Tracing und strukturierte Protokolle für jede Anfrage
    • Versionierung von Prompts, Modellen und Index
    • Semantisches und exaktes Caching, wo es sicher ist
    • Überwachung von Drift und Qualität mit Alarmierung

    Was Sie erhalten

    • Dashboards für Qualität, Kosten und Antwortzeit
    • Playbook für KI-typische Störungen
    • Betriebshandbuch für Modell- und Index-Updates

  5. 05 Governance von Anfang an

    Wir planen mit der KI-Verordnung im Blick: Risikoeinstufung, Ihre Rolle als Anbieter oder Betreiber, Protokollierung, menschliche Aufsicht und Dokumentation. In Luxemburg soll nach dem Gesetzentwurf Nr. 8476, der noch nicht verabschiedet ist, die CNPD die zentrale Aufsicht übernehmen; die rechtliche Bewertung bleibt bei Ihrer Rechtsberatung.

    Was wir tun

    • Einstufung des Anwendungsfalls und Pflichten je Rolle
    • Beiträge zur Datenschutz-Folgenabschätzung nach DSGVO
    • Entwurf von Protokollierung und menschlicher Aufsicht
    • Modell- und Systemdokumentation direkt beim Code

    Was Sie erhalten

    • Paket mit der Systemdokumentation
    • Konzept für Protokollierung und Aufbewahrung
    • Aufsichtsverfahren pro Anwendungsfall

  6. 06 Fine-Tuning und Dokument­verständnis, wenn die Evaluierung es verlangt

    Fine-Tuning, Destillation und multimodales Dokumentverständnis schließen bestimmte Lücken. Wir setzen sie ein, sobald die Evaluierung zeigt, dass Retrieval und Prompting nicht reichen, vorher nicht.

    Was wir tun

    • Lückenanalyse anhand der Evaluierungsergebnisse
    • Plan für Datenaufbereitung und Annotation
    • Destillation auf kleinere Modelle für Kosten oder Antwortzeit
    • Layoutbewusste Extraktion aus gescannten und komplexen Dokumenten

    Was Sie erhalten

    • Vergleichende Evaluierung vorher und nachher
    • Herkunftsnachweis der Trainingsdaten
    • Entscheidung: behalten, zurücknehmen oder abschalten

03 Architektur

Eine Referenz­architektur zur Veranschaulichung

Fast alle generativen KI-Systeme, die wir bauen, folgen einem Muster: Suche über Ihre Quellen, Modell-Gateway, Prüfungen vor und nach dem Modell und als Unterbau ein Kreislauf aus Messung und Beobachtung, der über jeden Go-live entscheidet.

Der Berechtigungsfilter gehört in das Retrieval, nicht in die Benutzeroberfläche. Darf eine Person ein Dokument im Quellsystem nicht öffnen, gelangen dessen Abschnitte auch nicht in ihrem Namen zum Modell.

Schichten in der Zeichnung

Quellen
Dokumentablagen, Wikis und Fachsysteme, dazu der Identitätsanbieter, der weiß, wer was sehen darf.
Retrieval
Ingestion, hybrider Index, Re-Ranking und der Berechtigungsfilter.
Modelle
Ein Gateway, das zwischen gehosteten Modellen, Bereitstellungen in der EU und eigenen Modellen wählt, mit Ausweichpfaden und Caching.
Anwendung
Antworten mit Quellenangabe, keine Antwort ohne Beleg und Leitplanken für Ein- und Ausgabe.
Betreiben und verbessern
Referenzdatensätze, Regressionsprüfungen, Traces und Budgets. Was im Betrieb auffällt, wird zum nächsten Testfall.
Beispiel zur Veranschaulichung

  1. Quellen

    • Dokumentablagen und Wikis
    • Fachsysteme
    • Identitätsanbieter

  2. Retrieval

    • Ingestion und Zerlegung
    • Hybrider Index
    • Berechtigungsfilter
    • Retrieval und Re-Ranking

  3. Modelle

    • Modell-Gateway
    • Gehostete, EU- und eigene Modelle
    • Leitplanken für Ein- und Ausgabe

  4. Anwendung

    • Anwendung mit Quellenangaben

  5. Betreiben und verbessern

    • Referenzdaten und Regressionsprüfung
    • Traces, Kosten- und Zeitbudgets
Retrieval, Modell-Gateway und Evaluierungs­kreislauf

Veranschaulichende Architektur, kein Kundensystem.

Diagramm als Text lesen

Aus den Dokumentablagen gelangen Inhalte über die Ingestion in einen hybriden Index; von dort führen Retrieval mit Re-Ranking und das Modell-Gateway zur Anwendung.

Zusätzlich speisen die Fachsysteme die Ingestion. Aus dem Identitätsanbieter kommt der Berechtigungsfilter, der festlegt, was das Retrieval finden darf. Ein- und Ausgaben der Anwendung laufen durch Leitplanken. Das Gateway verteilt auf große gehostete Modelle, EU-Bereitstellungen und offene Modelle im Eigenbetrieb.

Darunter liegen eine Evaluierungssuite mit Referenzdatensätzen und Regressionsprüfungen sowie die Beobachtbarkeit mit Traces und Budgets für Kosten und Antwortzeit. Traces aus dem Betrieb fließen in die Evaluierungssuite zurück.

04 Abwägungen und Grenzen

Technische Abwägungen und Grenzen

  • Qualität wird gemessen, nicht versprochen

    Unser Umgang damit

    Mit den Prozessverantwortlichen legen wir Qualitätskriterien fest und prüfen die KI-Ergebnisse vor und nach jeder neuen Version daran.

    Retrieval und Textgenerierung bewerten wir getrennt, damit ein Fehler auf seine Ursache zeigt.

    Grenzen und Abhängigkeiten

    KI-Ergebnisse können falsch sein. Deshalb sehen wir für unsichere Fälle Prüfschritte vor, und ohne Beleg gibt das System keine Antwort.

    Ein Testdatensatz ist nur so gut wie die Fachleute, die ihn mit aufbauen. Ihre Zeit brauchen wir früh.

  • Berechtigungen reisen mit dem Inhalt

    Unser Umgang damit

    Schon beim Einlesen merken wir uns die Zugriffsrechte, und bei jeder Abfrage gleicht das System sie mit Ihrem Identitätsanbieter ab.

    Grenzen und Abhängigkeiten

    Lassen sich die Rechte einer Quelle nicht zuverlässig auslesen, nehmen wir deren Inhalte vorerst nicht auf.

    Was in der Quelle zu breit freigegeben ist, bleibt zu breit freigegeben. Retrieval macht es leichter auffindbar, deshalb steht manchmal zuerst eine Bereinigung an.

  • Kosten und Antwortzeit sind Entwurfsgrößen

    Unser Umgang damit

    Für jede Art von Anfrage gibt es ein Kostenziel. Danach richten wir Routing, Caching und Kontextlänge aus, und auf den Dashboards ist ablesbar, wofür Geld ausgegeben wird.

    Grenzen und Abhängigkeiten

    Preise und Ratenlimits der Anbieter ändern sich ohne Ihr Zutun. Das Gateway erlaubt eine Reaktion, eine Preiserhöhung verschwindet dadurch aber nicht.

  • Modelle ändern sich unter Ihnen

    Unser Umgang damit

    Modelle werden auf eine feste Version gesetzt; jedes Upgrade durchläuft die ganze Evaluierungssuite, bevor es Nutzer erreicht.

    Grenzen und Abhängigkeiten

    Gehostete Modelle werden mitunter kurzfristig eingestellt. Für jeden Anwendungsfall planen wir eine Alternative, die der Verantwortliche freigeben muss.

05 Arbeitsweise

Wie wir arbeiten

Die Reihenfolge ist wichtig: Erst legen wir fest, wie gemessen wird, dann, was gebaut wird.

  1. 01

    Anwendungsfall abgrenzen

    Wer nutzt ihn, welche Entscheidungen stützt er, welche Quellen darf er berühren und was kostet eine falsche Antwort.

    ErgebnisKurzbeschreibung und Risikoeinstufung

  2. 02

    Referenzdatensatz aufbauen

    Echte Fragen mit erwarteten Antworten, gesammelt mit Ihren Fachleuten, auch die Fragen, die das System ablehnen soll.

    ErgebnisVersionierter Testdatensatz

  3. 03

    Zuerst das Retrieval

    Ingestion, Index und Berechtigungsfilter, so lange abgestimmt, bis die vereinbarte Retrieval-Qualität erreicht ist.

    ErgebnisBericht zur Retrieval-Qualität

  4. 04

    Freigabe nur über Schwellen

    Erst wenn die Evaluierungssuite in der CI grün ist, gehen Generierung, Leitplanken und Gateway in Betrieb.

    ErgebnisVersion mit Evaluierungsnachweis

  5. 05

    Betreiben und verbessern

    Traces, Stichproben und Rückmeldungen der Nutzer fließen in den nächsten Testdatensatz und die nächste Version.

    ErgebnisMonatlicher Bericht zu Qualität, Kosten und Antwortzeit

06 Menschliche Kontrolle

Wo Menschen die Kontrolle behalten

Die KI liefert Entwürfe, Fundstellen und Vorschläge. Welche Daten sie nutzen darf, wann ein Ergebnis gut genug ist und was im Zweifel passiert, legen Menschen fest.

  • Die Fachseite gibt die Qualität frei

    Qualitätskriterien und Freigabenachweise bestätigt der fachlich Verantwortliche jedes Anwendungsfalls, nicht allein das Projektteam.

  • Unsichere Antworten gehen an einen Menschen

    Unterhalb einer vereinbarten Konfidenzschwelle antwortet das System nicht oder leitet die Frage an ein benanntes Team weiter.

  • Zugriff wird in der Quelle geregelt

    Wer ein Dokument sehen darf, entscheiden das Quellsystem und Ihr Identitätsanbieter, niemals die KI-Schicht.

  • Rückmeldungen verändern das System

    Nutzer können Antworten markieren. Menschen sehen sich jede Markierung an, und bestätigte Fehler werden zu Testfällen.

07 Technologien

Technologien, mit denen wir arbeiten

Retrieval
  • OpenSearch und Elasticsearch
  • PostgreSQL mit pgvector
  • Azure AI Search
  • Cross-Encoder-Re-Ranker
Modelle
  • Gehostete Spitzenmodelle
  • Verwaltete Modelldienste in EU-Regionen
  • Open-Weight-Modelle auf vLLM
  • Embedding-Modelle je Sprache
Evaluierung und Betrieb
  • Tracing mit OpenTelemetry
  • Evaluierungssuiten in der CI
  • Register für Prompts und Modelle
  • Langfuse oder Vergleichbares
Anwendung
  • Dienste in TypeScript und Python
  • Streaming-APIs
  • Bestehende Portale sowie Oberflächen von Salesforce, SAP und Odoo

Eine hier genannte Technologie beschreibt unsere Erfahrung in der Entwicklung. Sie bedeutet weder eine Partnerschaft mit dem Hersteller noch dessen Empfehlung.

08 Beispiel

Ein veranschaulichendes Beispiel

Beispiel zur Veranschaulichung

Ein Recherche­assistent für einen Fondsverwalter

01Ausgangslage
Rundschreiben der CSSF liegen auf Französisch und Englisch vor, interne Richtlinien und Arbeitsanweisungen teils auf Deutsch. Compliance und Fondsadministration stellen dieselben Fragen und finden unterschiedliche Antworten.
02Was wir bauen würden
Mehrsprachiges Retrieval über Rundschreiben, interne Richtlinien und Verfahrensbeschreibungen, mit den Zugriffsrechten der jeweiligen Ablage; jede Antwort verweist auf den maßgeblichen Text.
03Wo Menschen entscheiden
Die Compliance-Verantwortlichen geben den Testdatensatz frei und bestätigen jede Version, die Antworten zu regulatorischen Pflichten verändert.
04Was wir messen würden
Anteil der Antworten, die das richtige maßgebliche Dokument nennen, Quote der Nicht-Antworten bei Fragen außerhalb des Rahmens und Kosten pro Antwort je Sprache.

09 Branchen

In Ihrer Branche

  • Staat & Gemeinden

    Assistenten für Mitarbeitende der Verwaltung und für Bürgerinnen und Bürger, die den Rechtstext nennen, Fragen auf Deutsch wie auf Französisch verstehen und festhalten, was für wen abgerufen wurde.

  • Finanzsektor

    Assistenten für interne Richtlinien und CSSF-Rundschreiben, mit eng gefassten Zugriffsrechten, vollständiger Rückverfolgbarkeit und einer Dokumentation des Modellrisikos, die Risikomanagement und Compliance prüfen können.

  • Gesundheitswesen & Life Sciences

    Suche in Behandlungsprotokollen und Produktunterlagen mit klar gezogenen Grenzen: Klinische Entscheidungen trifft die KI nicht, und sensible Daten bleiben in freigegebenen Umgebungen.

Luxemburg

Drei Sprachen, ein Maßstab für die Qualität

In Luxemburg steht eine Richtlinie oft auf Französisch, das Protokoll dazu auf Deutsch und der Bericht an die Gruppe auf Englisch. Wer hier generative KI einführt, braucht Retrieval und Evaluierung für jede dieser Sprachen, nicht nur für eine.

Die KI-Verordnung gilt europaweit; die nationale Aufsicht soll in Luxemburg der Gesetzentwurf Nr. 8476 regeln, noch nicht verabschiedet, mit der CNPD als zentraler Marktüberwachungsbehörde neben den Fachaufsichten wie der CSSF. Wir legen den Datenstandort je Anwendungsfall fest und führen Protokolle und Dokumentation so, dass sie die Fragen jeder Aufsicht beantworten, ohne für jedes Land ein eigenes System. Vorhaben, die über Digital Europe gefördert werden, verlangen oft genau diese wiederverwendbare, dokumentierte Bauweise.

Fragen zum KI-Engineering

Welches Modell empfehlen Sie?

Eine pauschale Empfehlung gibt es nicht; es kommt auf Aufgabe, Daten und Hosting-Vorgaben an. In der Regel arbeiten mehrere Modelle zusammen: ein starkes für anspruchsvolles Schlussfolgern, kleinere oder selbst betriebene für Klassifikation und Extraktion, und EU-Bereitstellungen überall dort, wo Daten in der EU bleiben müssen.

Über das Gateway lässt sich diese Wahl jederzeit rückgängig machen, die Antwort darf sich also mit Modellen und Preisen ändern.

Wie genau werden die Antworten sein?

Eine Genauigkeit nennen wir erst, wenn wir sie auf Ihren Daten gemessen haben. Gemeinsam mit Ihnen legen wir Qualitätskriterien fest, bauen einen Testdatensatz auf und berichten vor dem Start und nach jeder Änderung über die Ergebnisse.

Modelle machen Fehler. Darum regelt der Entwurf immer, was dann geschieht: keine Antwort ohne Beleg, Prüfschritte und ein Weg zu einem Menschen.

Werden unsere Daten genutzt, um fremde Modelle zu trainieren?

Nein, nicht in unseren Architekturen. Entweder nutzen wir Modelldienste, die das Training mit Kundeneingaben vertraglich ausschließen, oder wir betreiben Modelle in Ihrer eigenen Umgebung. Welche Variante für welchen Anwendungsfall gilt, dokumentieren wir zusammen mit Ihrer IT-Sicherheit.

Gilt die KI-Verordnung für unseren Anwendungsfall?

Wir helfen Ihnen zu verstehen, welche Pflichten je nach Anwendungsfall und Ihrer Rolle als Anbieter oder Betreiber in Frage kommen, und richten Protokollierung, Aufsicht und Dokumentation danach aus. So hat Ihre Rechtsberatung die Fakten für eine Entscheidung. Die luxemburgische Aufsichtsstruktur soll der Gesetzentwurf Nr. 8476 regeln, der noch nicht verabschiedet ist.

Wie gehen Sie mit Sicherheit und sensiblen Daten um?

FromNine ist nach ISO/IEC 27001 zertifiziert. Bevor wir mit dem Bau beginnen, stehen Zugriffsgrenzen, Speicherort und Aufbewahrungsfristen fest; Angriffstests auf Prompt-Injection und Datenabfluss sind fester Teil jeder Freigabe.

Womit fängt man sinnvollerweise an?

Mit einem Anwendungsfall, der einen klaren Verantwortlichen hat, wenigen Quellen und einem Testdatensatz, den Ihre Fachleute mitgestalten. Am Ende stehen ein funktionierendes System und belastbare Zahlen zu Qualität, Kosten und Antwortzeit, also genau das, was die nächste Investitionsentscheidung braucht.

Bringen Sie einen Anwendungsfall und seine schwierigsten Fragen mit

Wir zeigen Ihnen, wie wir ihn messen würden, bevor wir über das Bauen sprechen.

Projekt anfragenWissenszugang ansehen