Direkt zum Haaptinhalt
FromNine
Menü

KI an Donnéeën

Generativ KI, déi am Betrib hält.

Mir bauen Applikatioune mat generativer KI op Ärem eegene Wëssen an Ären Donnéeën, mat enger Sich, déi d’Zougrëffsrechter respektéiert, enger Evaluatioun, déi all Release ofséchert, a mat Käschten, Qualitéit a Latenz, déi Dir gesitt.

Fir Organisatiounen, deenen hiert Wëssen op Franséisch, Däitsch an Englesch steet, an déi eng KI-Plattform iwwer d’Grenzen ewech bedreiwen.

Schwätzt mat eisFirmewëssen
KI-Engineering a generativ KI: technesch SchichtenVéier Schichten, eng iwwer der anerer. Vun uewe bis ënnen: d’Sich an Äre Quellen, de Modell-Gateway, Evaluatioun a Schutzmechanismen, an d’Applikatioun, mat där Är Benotzer schaffen. Eng Route féiert vun de Quelle bis bei d’Applikatioun.01Sich an Äre Quellen02Modell-Gateway a Routing03Evaluatioun a Schutz­mechanismen04Applikatioun am Betrib
  1. 01Äntwerten, déi hir Quellen uginn, a keng Äntwert, wann d’Quell feelt
  2. 02E Referenztestset a Regressiounstester, mat Ären Equippen ofgestëmmt, ier de System live geet
  3. 03Modell-Routing a Budgeten, déi d’Käschten an d’Latenz pro Ufro siichtbar halen

01 Problemer

Wou generativ KI hänke bleift

De Modell ass seelen dat Schwéiert. Wat déi meescht Programmer bremst, ass alles ronderëm.

  1. 01

    De Pilot huet beandrockt, mä kee konnt soen, ob e gutt war

    E puer Leit hunn d’Qualitéit mat e puer Froe beurteelt. Et gëtt keen Testset, also ass all Prompt-Ännerung an all Modell-Update e Glécksspill.

  2. 02

    Den Assistent weist Leit Dokumenter, déi se net gesinn dierften

    Den Inhalt gouf ouni seng Zougrëffsrechter indexéiert. D’IT-Sécherheet an d’Personaldelegatioun stoppen d’Aféierung, a si hu Recht.

  3. 03

    D’Käschte wuesse méi séier wéi d’Notzung

    All Ufro geet un de gréisste Modell mam längste Kontext. Kee weess, wat eng Äntwert kascht, also kann och keen et steieren.

  4. 04

    D’Äntwerte klénge richteg a sinn et net

    D’Sich liwwert Treffer, déi just dernieft leien, de Modell fëllt d’Lücke flësseg op, an d’Benotzer verléieren d’Vertrauen nom drëtte selbstséchere Feeler.

02 Leeschtungen

Wat mir liwweren

  1. 01 Sich a Wëssens­systemer fir Entreprisen

    Eng Sich, déi fir all Quell eenzel konzipéiert ass: wéi den Inhalt geparst an a Stécker opgedeelt gëtt, wéi lexikalesch Sich a Vektorsich zesummespillen, a wéi d’Zougrëffsrechter mat all Passage matgoen. D’Basis fir KI-Assistente fir Firmewëssen.

    Wat mir maachen

    • Inventar vun de Quellen, mat Verantwortlechen, Formater an Zougrëffsmodeller
    • Strategie fir d’Opdeelen a Metadonnéeë pro Dokumenttyp
    • Hybrid Sich, lexikalesch a vektoriell, mat Re-Ranking
    • Sich, déi d’Zougrëffsrechter vun de Quellen iwwerhëlt

    Wat Dir kritt

    • Pipelines fir d’Erfaassung, mat Erkennung vun Ännerungen
    • Sichdéngscht mat Quellenugaben a Reegele fir de Fall ouni Äntwert
    • Bericht iwwer d’Qualitéit vun der Sich pro Quell

  2. 02 Modell­strategie ouni Lock-in

    E Modell-Gateway tëscht Ären Applikatiounen an de Modeller, fir datt Dir no Aufgab route kënnt, bei engem Ausfall vun engem Ubidder op en anere wiesselt a Modeller austauscht, wa Präisser a Fäegkeete sech änneren.

    Wat mir maachen

    • Optiounen: gehost Frontier-Modeller, Modeller an EU-Regiounen a selwer gehost Open-Weight-Modeller
    • Routing no Aufgab, Sensibilitéit a Käschten
    • Fallbacks, Timeouts, Caching a Rate Limits
    • Konditioune fir d’Dateveraarbechtung, mat Ären Equippe fir Recht a Sécherheet duerchgekuckt

    Wat Dir kritt

    • Modell-Gateway mat Routing-Reegelen als Konfiguratioun
    • Dokumentéiert Modellwiel pro Uwendungsfall
    • Budget fir Käschten a Latenz pro Ufrotyp

  3. 03 Evaluatioun als Ingenieurs­disziplin

    Qualitéitscritèren, déi mat deenen ofgestëmmt sinn, déi de Prozess verantworten, ginn zu Testsets, déi bei all Ännerung lafen. Automatesch Bewäertunge mat engem Modell ginn un enger mënschlecher Kontroll kalibréiert, ier mir eis drop verloossen.

    Wat mir maachen

    • Referenztestsets pro Uwendungsfall, mat Fachexperten opgebaut
    • Offline-Evaluatioun vu Sich a Generatioun, all eenzel fir sech
    • Red-Teaming géint Prompt Injection an den Ofloss vun Donnéeën
    • Online-Evaluatioun mat Feedback aus der Produktioun a Stéchprouwen

    Wat Dir kritt

    • Evaluatiounssuite an der CI als Kontrollpunkt virum Release
    • Qualitéitscritèren, vum Fachverantwortleche validéiert
    • Resultater vum Red-Teaming a Géigemoossnamen

  4. 04 LLMOps an Observabili­téit

    Tracing vun der Fro iwwer déi fonnt Passagen an den Opruff vum Modell bis bei d’Äntwert, mat Prompten a Modeller, déi wéi Code versionéiert ginn, a Budgeten, déi am Betrib agehale ginn.

    Wat mir maachen

    • Tracing a strukturéiert Logging vun all Ufro
    • Versionéierung vu Prompten, Modeller an Indexen
    • Semantescht an exakt Caching, wou et sécher ass
    • Iwwerwaachung vun Drift a Qualitéit mat Alarmer

    Wat Dir kritt

    • Dashboards fir Qualitéit, Käschten a Latenz
    • Playbook fir Incidenter, déi spezifesch fir KI sinn
    • Runbook fir d’Aktualiséierung vu Modeller an Indexen

  5. 05 Governance vun Ufank un

    Mir konzipéiere mam KI-Reglement (AI Act) am Bléck: vun der Risikoklassifikatioun an Ärer Roll als Ubidder oder Bedreiwer iwwer d’Protokolléierung an d’mënschlech Opsiicht bis bei d’Dokumentatioun. Déi juristesch Bewäertung bleift bei Ären eegene Juristen.

    Wat mir maachen

    • Klassifikatioun vum Uwendungsfall an Obligatioune pro Roll
    • Bäiträg zur Dateschutz-Folgenofschätzung (AIPD) no dem RGPD
    • Konzept fir Protokolléierung a mënschlech Opsiicht
    • Dokumentatioun vu Modell a System, déi beim Code bleift

    Wat Dir kritt

    • Dokumentatiounspak fir de System
    • Konzept fir Protokolléierung an Opbewaarung
    • Opsiichtsprozedur fir all Uwendungsfall

  6. 06 Fine-Tuning an Dokumentanalys, wann d’Evaluatioun et verlaangt

    Fine-Tuning, Distillatioun a multimodal Dokumentanalys sinn Instrumenter fir spezifesch Lücken. Mir setze se an, wann d’Evaluatiounssuite weist, datt Sich a Prompting net duergoen, an net virdrun.

    Wat mir maachen

    • Lückenanalys op Basis vun den Evaluatiounsresultater
    • Plang fir d’Virbereedung an d’Annotatioun vun Donnéeën
    • Distillatioun op méi kleng Modeller, fir Käschten oder Latenz ze reduzéieren
    • Extraktioun, déi de Layout vu gescannten a komplexen Dokumenter versteet

    Wat Dir kritt

    • Vergläichend Evaluatioun virdrun an duerno
    • Hierkonft vun den Trainingsdonnéeën
    • Decisioun: behalen, zréckzéien oder ofschafen

03 Architektur

Eng Referenz­architektur als Beispill

Déi meescht Systemer mat generativer KI, déi mir fir Entreprisë bauen, hunn déiselwecht Form: eng Sich an Äre Quellen, e Modell-Gateway, Schutzmechanismen op béide Säite vum Modell, an drënner eng Schleef aus Evaluatioun an Observabilitéit, déi entscheet, wat live goen dierf.

De Filter fir d’Zougrëffsrechter sëtzt an der Sich, net an der Benotzeruewerfläch. Wann eng Persoun en Dokument am Quellsystem net opmaache kann, komme seng Passagen ni an hirem Numm beim Modell un.

Schichten an der Zeechnung

Quellen
Dokumentspäicher, Wikis a Geschäftssystemer, plus den Identitéitsprovider, dee weess, wie wat gesinn dierf.
Sich
Erfaassung, en hybriden Index, Re-Ranking an de Filter fir d’Zougrëffsrechter.
Modeller
E Gateway, deen tëscht gehosten, an der EU gehosten a selwer gehoste Modeller routet, mat Fallbacks a Caching.
Applikatioun
Äntwerte mat Quellen, keng Äntwert ouni Beleeër, a Schutzmechanismen op Input an Output.
Bedreiwen a verbesseren
Referenztestsets, Regressiounstester, Traces a Budgeten. Traces aus der Produktioun speisen den nächsten Testset.
Beispill

  1. Quellen

    • Dokument­späicher a Wikis
    • Geschäfts­systemer
    • Identitéits­provider

  2. Sich

    • Erfaassung an Opdeelen
    • Hybriden Index
    • Filter fir Zougrëffs­rechter
    • Sich a Re-Ranking

  3. Modeller

    • Modell-Gateway
    • Gehost, EU- a selwer gehost Modeller
    • Schutz fir Input an Output

  4. Applikatioun

    • Applikatioun mat Quellen

  5. Bedreiwen a verbesseren

    • Referenz­testsets a Regressiouns­tester
    • Traces, Käschten- a Latenz­budgeten
Sich, Modell-Gateway an Evaluatiouns­schleef

Beispill vun enger Architektur, kee System vun engem Client.

Den Diagramm als Text liesen

D’Haaptroute féiert vun den Dokumentspäicher iwwer d’Erfaassung, en hybriden Index, d’Sich mat Re-Ranking an de Modell-Gateway bis bei d’Applikatioun.

Och d’Geschäftssystemer liwweren Inhalt fir d’Erfaassung. Den Identitéitsprovider speist e Filter fir Zougrëffsrechter, deen d’Sich aschränkt. Schutzmechanisme préiwen den Input an den Output vun der Applikatioun. De Gateway routet op gehost Frontier-Modeller, Modeller an EU-Regiounen a selwer gehost Open-Weight-Modeller.

Drënner eng Evaluatiounssuite mat Referenztestsets a Regressiounstester, an Observabilitéit mat Traces a Budgete fir Käschten a Latenz. Traces aus der Produktioun fléissen an d’Evaluatiounssuite.

04 Iwwerleeungen a Grenzen

Technesch Iwwerleeungen a Grenzen

  • Qualitéit gëtt gemooss, net versprach

    Wéi mir domat ëmginn

    Mir stëmme Qualitéitscritèrë mat de Verantwortleche fir Är Prozesser of an testen d’Resultater vun der KI virun an no all Release dergéint.

    Sich a Generatioun gi separat evaluéiert, sou datt e Feeler op seng Ursaach weist.

    Grenzen an Ofhängegkeeten

    D’Resultater vun der KI kënne falsch sinn. Dofir plange mir Kontrollstappe fir onsécher Fäll a keng Äntwert, wann d’Beleeër feelen.

    En Testset ass nëmme sou gutt wéi d’Experten, déi en opbauen. Mir brauchen hir Zäit fréi.

  • D’Zougrëffs­rechter bleiwe beim Inhalt

    Wéi mir domat ëmginn

    D’Zougrëffsrechter gi bei der Erfaassung iwwerholl a bei all Ufro géint Ären Identitéitsprovider duerchgesat.

    Grenzen an Ofhängegkeeten

    Wou Quellsystemer Rechter esou späicheren, datt ee se net zouverlässeg liese kann, bleift dësen Inhalt ausserhalb vum Ëmfang, bis dat geléist ass.

    Wat an der Quell ze breet gedeelt ass, bleift ze breet gedeelt. D’Sich mécht et méi einfach ze fannen, dofir ass Opraumen heiansdo den éischte Schrëtt.

  • Käschten a Latenz sinn Designvirgaben

    Wéi mir domat ëmginn

    All Ufrotyp kritt e Budget. Routing, Caching a Kontextgréisst ginn dorop ofgestëmmt, an d’Dashboards weisen, wou d’Suen higinn.

    Grenzen an Ofhängegkeeten

    Präisser a Rate Limits vun den Ubidder ännere sech ausserhalb vun Ärer Kontroll. De Gateway erlaabt Iech ze reagéieren, mä eng Präisännerung kann en net réckgängeg maachen.

  • Modeller ännere sech, ouni Iech ze froen

    Wéi mir domat ëmginn

    Modeller gi mat fixer Versioun agesat, an all Upgrade leeft duerch déi komplett Evaluatiounssuite, ier e bei d’Benotzer kënnt.

    Grenzen an Ofhängegkeeten

    Gehost Modeller ginn heiansdo kuerzfristeg zréckgezunn. Mir plangen eng Alternativ pro Uwendungsfall, an dee Plang brauch d’Zoustëmmung vum Verantwortlechen.

05 Wéi mir schaffen

Wéi mir schaffen

D’Reiefolleg zielt: mir entscheeden, wéi mir moossen, ier mir entscheeden, wat mir bauen.

  1. 01

    Den Uwendungsfall ofgrenzen

    Wien e benotzt, wéi eng Decisiounen en ënnerstëtzt, wéi eng Quellen e beréieren dierf a wat eng falsch Äntwert kascht.

    ResultatBeschreiwung vum Uwendungsfall a Risikoklassifikatioun

  2. 02

    De Referenz­testset opbauen

    Richteg Froen an erwaart Äntwerten, mat Äre Fachexperte gesammelt, och déi, déi de System refuséiere soll.

    ResultatVersionéierten Testset

  3. 03

    Fir d’éischt d’Sich bauen

    Erfaassung, Index a Filter fir Zougrëffsrechter, ofgestëmmt, bis d’Sich den ofgemaachte Qualitéitsniveau erreecht.

    ResultatBericht iwwer d’Qualitéit vun der Sich

  4. 04

    Release mat Kontroll­punkten

    Generatioun, Schutzmechanismen a Gateway ginn eréischt live, wann d’Evaluatiounssuite an der CI duerchgeet.

    ResultatRelease mat Evaluatiounsresultater

  5. 05

    Bedreiwen a verbesseren

    Traces, Stéchprouwen a Feedback vun de Benotzer speisen den nächsten Testset an den nächste Release.

    ResultatMéintlech Iwwerpréiwung vu Qualitéit, Käschten a Latenz

06 Mënschlech Kontroll

Wou de Mënsch d’Kontroll behält

Generativ KI entwerft, sicht a proposéiert. Mënschen entscheeden, wat se gesinn dierf, wat als gutt gëllt a wat geschitt, wa se onsécher ass.

  • Verantwortlech validéieren d’Qualitéit

    De Fachverantwortleche vun all Uwendungsfall approuvéiert d’Qualitéitscritèren an d’Beleeër fir de Release, net d’Equipe eleng, déi en ëmsetzt.

  • Onsécher Äntwerte ginn un e Mënsch

    Ënner engem ofgemaachte Konfidenzwäert gëtt de System keng Äntwert oder schéckt d’Fro un eng benannt Equipe.

  • Den Zougrëff bleift bei der Quell

    Wien en Dokument gesinn dierf, gëtt am Quellsystem an an Ärem Identitéitsprovider decidéiert, ni an der KI-Schicht.

  • Feedback ännert de System

    D’Benotzer kënnen Äntwerte markéieren. Mënsche kontrolléieren dës Markéierungen, a bestätegt Feeler ginn zu Testfäll.

07 Technologien

Technologien, mat deene mir schaffen

Sich
  • OpenSearch an Elasticsearch
  • PostgreSQL mat pgvector
  • Azure AI Search
  • Cross-Encoder-Re-Ranker
Modeller
  • Gehost Frontier-Modeller
  • Verwalt Modelldéngschter an EU-Regiounen
  • Open-Weight-Modeller op vLLM
  • Embedding-Modeller pro Sprooch
Evaluatioun a Betrib
  • Tracing mat OpenTelemetry
  • Evaluatiounssuitten an der CI
  • Registere fir Prompten a Modeller
  • Langfuse oder eppes Gläichwäertegs
Applikatioun
  • Servicer an TypeScript a Python
  • Streaming-APIen
  • Bestoend Portaler a Frontends vu Salesforce, SAP an Odoo

Eng Technologie op dëser Lëscht beschreift eis Erfarung an der Entwécklung. Dat heescht net, datt mir Partner vum Hiersteller sinn oder datt hien eis empfeelt.

08 Beispill

E Beispill zur Illustratioun

Beispill

E Recherche-Assistent fir d’Compliance-Equipe vun enger Bank

01Situatioun
D’Compliance-Equipe vun enger Bank muss bei all Fro Circulairë vun der CSSF, EU-Texter an intern Prozeduren op Franséisch, Däitsch an Englesch duerchsichen. Zwou Leit kréien op déiselwecht Fro net ëmmer déiselwecht Äntwert.
02Wat mir bauen
Méisproocheg Sich iwwer Circulairen, EU-Texter an intern Prozeduren, mat den Zougrëffsrechter aus dem Dokumentesystem vun der Bank an Äntwerten, déi de massgeblechen Text zitéieren.
03Wou e Mënsch entscheet
De Compliance-Responsabel approuvéiert den Testset pro Sprooch a validéiert all Release, deen Äntwerten op regulatoresch Froen ännert.
04Wat mir moossen
Undeel vun den Äntwerten, déi dat richtegt massgeblecht Dokument zitéieren, Undeel vun de Froen ausserhalb vum Ëmfang, op déi de System keng Äntwert gëtt, a Käschte pro Äntwert a Sprooch.

09 Branchen

An Ärer Branche

  • Staat a Gemengen

    Assistente fir Sachbeaarbechter a Bierger, déi déi juristesch Quell uginn, a méi Sprooche funktionéieren a protokolléieren, wat fir wie fonnt gouf.

  • Finanzsecteur

    Assistente fir intern Prozeduren a Circulairë vun der CSSF, mat strikte Berechtegungen, voller Rëckverfolgbarkeet an enger Dokumentatioun vum Modellrisiko, déi Är zweet Verdeedegungslinn iwwerpréiwe kann.

  • Gesondheet a Life Sciences

    Sich iwwer Protokoller a Produktdokumentatioun mat kloere Grenzen: keng klinesch Decisiounen, a sensibel Donnéeë bleiwen an approuvéierten Ëmgebungen.

Lëtzebuerg

Méi Sproochen, ee Standard fir d’Evaluatioun

An enger Lëtzebuerger Organisatioun steet d’Wëssen dacks a méi Sproochen: d’Gesetzer op Franséisch, intern Reegelen, Prozeduren a Kontrakter op Franséisch, Däitsch oder Englesch. D’KI-Reglement setzt en EU-wäite Kader, mä d’CNPD (Commission nationale pour la protection des données), d’Personaldelegatioun an d’Opsiicht vun der Branche, wéi d’CSSF fir de Finanzsecteur, stellen hir eege Froen.

Mir plangen dat vun Ufank un: Sich an Evaluatioun pro Sprooch, de Standuert vun den Donnéeë pro Uwendungsfall festgeluecht, a Protokolléierung an Dokumentatioun, déi d’Froe vun all deenen Instanze beäntweren, ouni e separate System fir all eenzel. Programmer, déi aus Digital Europe finanzéiert ginn, froen dacks genee no esou engem weiderverwendbaren, dokumentéierten Design.

Froen iwwer KI-Engineering

Wéi e Modell recommandéiert Dir?

Dat hänkt vun der Aufgab of, vun den Donnéeën, ëm déi et geet, a vun Ären Ufuerderungen un den Hosting. Meeschtens kombinéiere mir Modeller: e leeschtungsstaarke Modell fir Schrëtt mat vill Raisonnement, méi kleng oder selwer gehost Modeller fir Klassifikatioun an Extraktioun, an Deployementer an der EU, wou d’Donnéeën an der EU musse bleiwen.

De Gateway hält dës Wiel ëmkéierbar, sou datt d’Äntwert sech mat de Modeller a Präisser ännere kann.

Wéi genee gëtt et?

Mir nenne keng Genauegkeet, ier mir se op Ären Donnéeë gemooss hunn. Mir stëmme Qualitéitscritèrë mat Iech of, bauen en Testset a berichten iwwer d’Resultater virum Livegang an no all Ännerung.

Modeller maache Feeler, dofir plangt den Design ëmmer mat, wat da geschitt: keng Äntwert, Kontrollstappen an d’Weiderleedung un e Mënsch.

Ginn eis Donnéeë benotzt, fir de Modell vun engem aneren ze trainéieren?

Net an den Architekturen, déi mir konzipéieren. Mir wiele Modelldéngschter, deenen hir Konditiounen d’Training mat Ären Inputen ausschléissen, oder mir hosten d’Modeller selwer an Ärer Ëmgebung, a mir dokumentéieren dës Wiel pro Uwendungsfall mat Ärer Sécherheetsequipe.

Gëllt d’KI-Reglement fir eisen Uwendungsfall?

Mir hëllefen Iech ze verstoen, wéi eng Obligatioune kéinte gëllen, op Basis vum Uwendungsfall an Ärer Roll als Ubidder oder Bedreiwer, a mir konzipéieren d’Protokolléierung, d’Opsiicht an d’Dokumentatioun dorop ofgestëmmt, sou datt Är Juristen d’Fakten hunn, fir zu engem Schluss ze kommen.

Wéi gitt Dir mat Sécherheet a sensibelen Donnéeën ëm?

FromNine ass no ISO/IEC 27001 zertifizéiert. Zougrëffsgrenzen, de Standuert vun den Donnéeën an d’Opbewaarung ginn ofgemaach, ier mir bauen, a Red-Teaming géint Prompt Injection an den Ofloss vun Donnéeën ass Deel vum Release-Prozess, dee mir opsetzen.

Wat ass e sënnvollen éischte Schrëtt?

Een Uwendungsfall mat engem kloere Verantwortlechen, enger begrenzter Zuel u Quellen an engem Testset, deen Är Experte mat opbauen. Esou kritt Dir e System, dee funktionéiert, a Beleeër iwwer Qualitéit, Käschten a Latenz: genee dat, wat déi nächst Investitiounsentscheedung brauch.

Bréngt een Uwendungsfall a seng schwéierste Froe mat

Mir weisen Iech, wéi mir e moosse géifen, ier mir iwwer d’Baue schwätzen.

Schwätzt mat eisFirmewëssen