Direkt zum Haaptinhalt
FromNine
Menü

KI an Donnéeën

Donnéeën, op déi KI an Decisioune sech verloosse kënnen.

Mir bauen Dateplattformen, op deenen all Datesaz e Verantwortlechen, e Kontrakt an eng bekannt Qualitéit huet, sou datt Analys, Betrib a KI all op déiselwecht vertrauenswierdeg Zuele baséieren.

Fir Organisatiounen, déi eng vertrauenswierdeg Vue op Donnéeë brauchen, déi iwwer Länner, Entitéiten an al Systemer verdeelt sinn.

Schwätzt mat eisFirmewëssen
Donnéeën an Analys: technesch SchichtenVéier Schichten, eng iwwer der anerer. Vun uewe bis ënnen: Analys a KI, déi d’Donnéeën notzen, Dateprodukter mat Verantwortlechen a Kontrakter, d’Lakehouse-Schichten, déi botzen a vereenheetlechen, an d’Governance iwwer dat Ganzt.01Analys a KI02Dateprodukter a Kontrakter03Lakehouse-Schichten04Governance a Lineage
  1. 01Dateprodukter mat benannte Verantwortlechen, Kontrakter a Qualitéitskontrollen
  2. 02Governance, déi Zweckbindung an Opbewaarung ëmsetzt, net nëmmen e Katalog
  3. 03Eng eenzeg Rei KPI-Definitiounen, déi Business an IT allebéid ënnerschreiwen

01 Problemer

Bekannt Problemer mat Donnéeën

Déi meescht KI-Projeten, déi enttäuschen, sinn am Fong verstoppt Dateprojeten.

  1. 01

    Dräi Rapporten, dräi verschidden Zuelen

    D’Finanzen, de Betrib an d’Direktioun rechnen den Ëmsaz oder d’Zuel vun den Dossieren all op hir Manéier. D’Reunioune fänke mam Ofgläichen un amplaz mam Entscheeden.

  2. 02

    D’Donnéeën hu kee Verantwort­lechen, also fléckt kee se

    Feeler ginn eréischt um Enn vun der Kett fonnt, an enger Tabell korrigéiert a kommen de Mount drop erëm.

  3. 03

    D’KI-Equipe sicht déi meescht Zäit no Donnéeën

    All Uwendungsfall fänkt mat Wochen un Zougrëffsufroen, Extrakter an Opraumen un, déi déi nächst Equipe nach eng Kéier mécht.

  4. 04

    Archiver si fir KI net ze benotzen

    Gescannt Dokumenter mat schlechter OCR, Duplikater a keng Metadonnéeën. Eng Sich doriwwer liwwert vill Treffer ouni Wäert.

02 Leeschtungen

Wat mir liwweren

  1. 01 Dategrondlage fir KI an Analys

    Lakehouse-Architekture mat Modelléierung a Schichten, vun de réien Donnéeën iwwer vereenheetlecht Donnéeë bis bei d’Notzung, an Dateprodukter, déi publizéieren, wat se enthalen, wéi aktuell se sinn a wien dofir geradesteet.

    Wat mir maachen

    • Plattformarchitektur a Wiel vu Späicherformater
    • Konventioune fir d’Modelléierung a Schichten
    • Design vun Dateprodukter mat Kontrakter
    • Erfaassung per Batch a Change Data Capture

    Wat Dir kritt

    • Lakehouse-Plattform, am Code definéiert
    • Éischt Dateprodukter am Betrib
    • Virlag fir Datekontrakter a Prozess fir hir Iwwerpréiwung

  2. 02 Qualitéit, Lineage a Stammdonnéeën

    Automatesch Qualitéitskontrollen op all Schicht, Lineage vun der Quell bis bei de Rapport, a Stamm- a Referenzdonnéeë fir déi Entitéiten, op déi et ukënnt: Bierger, Clienten, Produkter an Equipementer.

    Wat mir maachen

    • Qualitéitsreegele mat Schwellen an Alarmer
    • Lineage op Kolonneniveau
    • Matching- a Survivorship-Reegele fir Stammdonnéeën
    • Gestioun vu Referenzdonnéeën

    Wat Dir kritt

    • Qualitéits-Dashboard pro Dateprodukt
    • Lineage, déi een ofroe kann
    • Golden Records fir prioritär Entitéiten

  3. 03 Governance, déi duerchgesat gëtt

    E Katalog, eng Klassifikatioun an Zougrëffsreegelen, déi d’Plattform automatesch applizéiert. D’Zweckbindung an d’Opbewaarung nom RGPD sinn am System ëmgesat, an d’Deele vun Donnéeë follegt de Reegele vum Data Governance Act, wou en applicabel ass.

    Wat mir maachen

    • Klassifikatiounsschema an Tagging
    • Attributbaséiert Zougrëffsreegelen
    • Automatiséiert Opbewaarung a Läschung
    • Accorde fir d’Deele vun Donnéeën an technesch Kontrollen

    Wat Dir kritt

    • Katalog, aus der Plattform gefëllt
    • Zougrëffsreegelen als Code
    • Opbewaarungsplang am Betrib

  4. 04 Onstruktu­réierten Inhalt prett fir KI

    Besser OCR-Qualitéit, méi räich Metadonnéeën, Deduplikatioun an Opraume vun Archiver, sou datt Dokumenteveraarbechtung a Sichsystemer mat Inhalt ufänken, deen et wäert ass, fonnt ze ginn.

    Wat mir maachen

    • Inventar vum Inhalt a Stéchprouwen zur Qualitéit
    • Besser OCR an Extraktioun vum Layout
    • Erkennung vu bal identeschen Duplikater
    • Méi räich Metadonnéeën a Klassifikatioun

    Wat Dir kritt

    • Späicher mat gebotztem an ugeräichertem Inhalt
    • Bericht iwwer d’Qualitéit vum Inhalt
    • Reegele fir neien Inhalt

  5. 05 Analys a BI, déi d’Leit benotzen

    Eng semantesch Schicht mat KPI-Definitiounen, déi Business an IT ofgestëmmt hunn, e kontrolléierte Self-Service an integréiert Analysen a SaaS-Produkter a Portaler.

    Wat mir maachen

    • Workshops fir KPI-Definitiounen
    • Semantesche Modell a Metrikschicht
    • Spillreegele fir de Self-Service an zertifizéiert Datesätz
    • Integréiert Analysen a Produkter fir Clienten

    Wat Dir kritt

    • KPI-Glossaire mat Verantwortlechen
    • Zertifizéierte semantesche Modell
    • Dashboards, déi Tabellen ersetzen

  6. 06 Streaming fir de Betrib

    Change Data Capture an Event-Streams do, wou Decisiounen net op d’Luede vun der Nuecht waarde kënnen: Lagerstänn, Status vun Dossieren, Signaler fir Bedruch.

    Wat mir maachen

    • Latenzufuerderunge pro Uwendungsfall
    • CDC aus operativen Datebanken
    • Stream Processing a materialiséiert Views
    • Konzept fir Replay a Backfill

    Wat Dir kritt

    • Streaming-Pipelines am Betrib
    • Operativ Views mat Ziler fir d’Aktualitéit
    • Prozedur fir de Replay

03 Architektur

Eng Referenz­architektur als Beispill

D’Donnéeë kommen aus de Betribssystemer an aus Dokumenter iwwer d’Erfaassung an e Lakehouse mat Schichten: réi, wéi se ukommen, da vereenheetlecht a kontrolléiert, dann als Dateprodukter mat engem Verantwortlechen an engem Kontrakt. Wien d’Donnéeën notzt, liest ni réi Donnéeën.

Vun den Dateprodukter aus speist eng Route déi semantesch Schicht an d’BI; aner Route speisen d’Sich an d’Features fir d’KI, an Date-APIe fir aner Systemer. D’Governance läit ënner allem, an d’Plattform setzt se duerch, net e Policy-Dokument.

Beispill

  1. Quellen an Erfaassung

    • Betribs­systemer
    • Dokumenter no OCR an Uräicherung
    • Batch a Change Data Capture

  2. Lakehouse

    • Réi Schicht
    • Vereenheet­lecht Schicht
    • Qualitéits­kontrollen a Lineage
    • Stamm- a Referenz­donnéeën
    • Dateprodukter mat Kontrakter

  3. Notzung

    • Semantesch Schicht a BI
    • Sich a Features fir d’KI
    • Date-APIen an Deelen

  4. Governance

    • Governance: Katalog, Klassifika­tioun, Zougrëffs­reegelen, Opbewaarung
Lakehouse-Schichte bis bei Dateprodukter mat Verantwort­lechen

Beispill vun enger Architektur, kee System vun engem Client.

Den Diagramm als Text liesen

D’Haaptroute féiert vun de Betribssystemer iwwer d’Erfaassung per Batch a Change Data Capture, eng réi Schicht, eng vereenheetlecht Schicht an d’Dateprodukter bis bei eng semantesch Schicht mat kontrolléierter BI.

Onstrukturéiert Dokumenter kommen no OCR an Uräicherung och iwwer d’Erfaassung eran. Qualitéitskontrollen a Lineage decken déi réi an déi vereenheetlecht Schicht of. Stamm- a Referenzdonnéeë speisen d’Dateprodukter. D’Dateprodukter bedéngen och d’Sich an d’Features fir d’KI, an Date-APIe fir d’Deele vun Donnéeën.

E Governance-Band mat Katalog, Klassifikatioun, Zougrëffsreegelen an Opbewaarung leeft iwwer déi ganz Plattform.

04 Iwwerleeungen a Grenzen

Technesch Iwwerleeungen a Grenzen

  • Verantwortung virun Tools

    Wéi mir domat ëmginn

    All Dateprodukt kritt e Fachverantwortlechen, deen entscheet, wat et bedeit, an en technesche Verantwortlechen, deen et um Lafen hält. Mir hëllefen, déi zwou Rolle festzeleeën, an och de Kontrakt tëscht deenen, déi Donnéeë produzéieren, an deenen, déi se notzen.

    Grenzen an Ofhängegkeeten

    Eng Plattform ka keng Verantwortung schafen. Wann d’Organisatioun keng Verantwortlech nennt, kommen d’Qualitéitsproblemer erëm, egal mat wéi engen Tools.

  • Zweckbindung an der Praxis

    Wéi mir domat ëmginn

    Perséinlech Donnéeë kréien d’Zwecker als Tag, fir déi se benotzt dierfe ginn, an d’Zougrëffsreegelen an d’Opbewaarung follegen dësen Tags automatesch.

    Grenzen an Ofhängegkeeten

    Wéi eng Zwecker legal sinn, entscheeden Ären Délégué à la protection des données (DPO) an Är Juristen. Mir setzen et ëm; mir entscheeden et net.

  • Donnéeë fir KI hunn hir eege Qualitéits­ufuerderungen

    Wéi mir domat ëmginn

    Fir KI-Uwendungsfäll moosse mir dat, wat Sich a Modeller brauchen: Ofdeckung, Aktualitéit, Duplikater an d’Qualitéit vun der Textextraktioun.

    Grenzen an Ofhängegkeeten

    Verschidden Archiver lount et sech net ze flécken. Eng Bewäertung op Basis vu Stéchprouwe weist Iech dat, an heiansdo ass déi richteg Äntwert, se ewechzeloossen.

05 Wéi mir schaffen

Wéi mir schaffen

Mir bauen d’Plattform ronderëm déi éischt Dateprodukter, déi zielen, net ëmgedréint.

  1. 01

    Decisiounen auswielen, net Datesätz

    Mir fänke mat zwou oder dräi Decisiounen oder KI-Uwendungsfäll un an den Donnéeën, déi se brauchen, mat benannte Verantwortlechen.

    ResultatBacklog vun Dateprodukter mat Verantwortlechen

  2. 02

    D’Grondlage ronderëm bauen

    Plattform, Erfaassung, Qualitéitskontrollen a Governance, grad genuch, fir dës Produkter richteg ze bedéngen.

    ResultatÉischt Dateprodukter am Betrib

  3. 03

    Produkt fir Produkt wuessen

    All neit Produkt notzt d’Grondlag erëm; de Katalog an de KPI-Glossaire wuesse mat.

    ResultatProdukt-Roadmap an Indicateure fir d’Notzung

06 Mënschlech Kontroll

Wou de Mënsch d’Kontroll behält

Dateplattformen automatiséieren d’Beweegung an d’Kontrolle vun Donnéeën. Mënschen entscheeden iwwer Bedeitung, Zougrëff an Zweck.

  • Verantwortlech approuvéieren d’Definitiounen

    E KPI oder en Dateprodukt ännert seng Bedeitung nëmmen, wann de Fachverantwortlechen zoustëmmt, an d’Ännerung gëtt versionéiert.

  • D’Verantwort­lech erlaben den Zougrëff

    D’Verantwortlech fir d’Donnéeën entscheeden, wie wéi eng Donnéeë fir wéi en Zweck benotzen dierf; d’Plattform setzt et duerch a protokolléiert all Fräigab.

  • Qualitéits­problemer stoppen d’Linn

    Wann eng Kontroll vum Kontrakt feelschléit, ginn d’Notzer informéiert, an de Verantwortlechen entscheet, ob publizéiert, zréckgehalen oder korrigéiert gëtt.

07 Technologien

Technologien, mat deene mir schaffen

Plattformen
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse mat oppene Formater: Apache Iceberg oder Delta Lake
Pipelines
  • dbt
  • Apache Spark
  • Kafka an Debezium
  • Cloud-native Orchestratioun
Governance
  • Unity Catalog a Purview
  • Open-Source-Kataloger
  • Frameworks fir Datequalitéit
  • Zougrëffskontroll op Basis vu Reegelen
Analys
  • Power BI
  • Semantesch a Metrikschichten
  • Integréiert Analysen
  • SAP-Analys (bestoend Landschaften)

Eng Technologie op dëser Lëscht beschreift eis Erfarung an der Entwécklung. Dat heescht net, datt mir Partner vum Hiersteller sinn oder datt hien eis empfeelt.

08 Beispill

E Beispill zur Illustratioun

Beispill

Gemeinsam operativ Kennzuele fir eng Grupp a véier Länner

01Situatioun
Eng Grupp huet Entitéiten zu Lëtzebuerg, an der Belsch, a Frankräich an an Däitschland. All Entitéit rapportéiert Volumen an oppen Dossieren aus hirem eegene System, mat hiren eegenen Definitiounen. D’Gruppeleedung vergläicht Zuelen, déi net datselwecht bedeiten.
02Wat mir bauen
Vereenheetlecht Dateprodukter pro Entitéit, déi eng semantesch Schicht speisen, mat KPI-Definitiounen, déi op Gruppenniveau ofgestëmmt sinn, an de lokalen Detailer, déi erhale bleiwen.
03Wou e Mënsch entscheet
D’Controller vun all Entitéit approuvéieren d’Mapping vun hiren Donnéeën; de Verantwortleche fir d’Kennzuele vun der Grupp approuvéiert d’Definitiounen an hir Ännerungen.
04Wat mir moossen
Zäit, fir de Méintsrapport ze erstellen, Zuel vun de Korrekture beim Ofgläichen an Notzung vun den zertifizéierten Dashboards.

09 Branchen

An Ärer Branche

  • Gesondheet a Life Sciences

    Kontrolléiert Fuerschungs- a Betribsdonnéeë mat strikter Zweckbindung, Pseudonymiséierung a Protokolléierung vum Zougrëff.

  • Produktioun an Industrie

    Stammdonnéeë vu Produkter an Equipementer, Qualitéits- a Produktiounsdonnéeën, verbonne fir Planung, Rëckverfolgbarkeet a KI.

  • Staat a Gemengen

    Authentesch Quellen, Once-Only-Notzung vun Donnéeën a Rapporten, déi d’Politik an d’Revisioun bis zum Dossier zréckverfollege kënnen.

Lëtzebuerg

Donnéeën iwwer d’Grenzen ewech

Lëtzebuerger Gruppen, Fongen a Versécherunge mat Entitéiten an den Nopeschlänner deelen Donnéeën no Reegelen, déi sech gläichen, awer net identesch sinn. Den RGPD setzt ee Kader fir perséinlech Donnéeën, an d’CNPD (Commission nationale pour la protection des données) iwwerwaacht en zu Lëtzebuerg; den Data Act gëtt Benotzer Rechter iwwer Donnéeë vu vernetzte Produkter a Servicer. National Interpretatioune vun Opbewaarung an Zweck ënnerscheede sech awer nach.

Mir konzipéieren Dateprodukter, deenen hir Kontrakter festhalen, wou d’Donnéeë veraarbecht ginn dierfen, fir wéi eng Zwecker a wéi laang, sou datt d’Plattform pro Land déi richteg Reegel applizéiere kann, ouni separat Kopië vun den Donnéeën.

Froen iwwer Donnéeën an Analys

Brauche mir en Data Mesh?

Dir braucht déi nëtzlech Deeler dovun: Dateprodukter mat Verantwortlechen a Kontrakter. Eng komplett Dezentraliséierung lount sech a groussen Organisatioune mat erfuerene Fachequippen. Vill Organisatioune fuere besser mat enger zentraler Plattform-Equipe an der Verantwortung vun de Fachberäicher fir d’Produkter.

Sinn eis Donnéeë prett fir KI?

Eng kuerz Bewäertung op Basis vu Stéchprouwen, iwwer d’Quellen, déi en Uwendungsfall brauch, seet Iech et: Ofdeckung, Qualitéit, Zougrëffsrechter a Rechtsgrondlag. D’Äntwert ass meeschtens „deelweis“, mat enger kloerer Lëscht, wat fir d’éischt ze flécken ass. Eis Equippe fir KI-Engineering a generativ KI benotzen déiselwecht Bewäertung.

Mir hu schonn en Data Warehouse. Fänke mir vu vir un?

Seelen. En Data Warehouse, dee vertrauenswierdeg Rapporte liwwert, ass e Wäert. Meeschtens erweidere mir e mat Lakehouse-Fäegkeete fir onstrukturéiert Donnéeën a grouss Volumen, a migréieren nëmmen do, wou Käschten oder Grenzen et rechtfäerdegen.

Wéi gitt Dir mam Deele vun Donnéeë mat Partner oder aneren Autoritéiten ëm?

Iwwer Dateprodukter, déi iwwer kontrolléiert APIe bereetgestallt ginn, mat Accorden, Zweckbindung a Protokolléierung. Wou den Data Governance Act oder den Data Act gëllen, konzipéiere mir déi technesch Kontrollen dofir.

Nennt d’Decisioun, déi Dir mat den Donnéeë vun haut net huele kënnt

Mir verfollegen zréck bis bei d’Quellen, wat se brauch, a weisen, wat fir en éischt Dateprodukt néideg wier.

Schwätzt mat eisDokumenteveraarbechtung