Salt la conținutul principal
FromNine
Meniu

IA și date

Date pe care se pot baza IA și deciziile.

Construim platforme de date în care fiecare set de date are un responsabil, un contract și o calitate cunoscută, astfel încât analizele, operațiunile și IA să folosească aceleași cifre de încredere.

Pentru organizații care au nevoie de o imagine unică și de încredere asupra datelor răspândite în mai multe țări, entități și sisteme legacy.

Solicitați o discuțieAcces la cunoștințe
Date și analiză: straturile capabilitățiiPatru straturi suprapuse în adâncime. De sus în jos: analizele și IA care folosesc datele, produsele de date cu responsabili și contracte, straturile lakehouse care curăță și armonizează datele și guvernanța care le cuprinde pe toate.01Analize și utilizare în IA02Produse de date și contracte03Straturile lakehouse04Guvernanță și proveniență
  1. 01Produse de date cu responsabili numiți, contracte și verificări de calitate
  2. 02Guvernanță care aplică limitarea scopului și perioadele de păstrare, nu doar un catalog
  3. 03Un singur set de definiții KPI, aprobat atât de business, cât și de IT

01 Probleme

Probleme de date cunoscute

Majoritatea proiectelor de IA care dezamăgesc se dovedesc a fi, de fapt, proiecte de date.

  1. 01

    Trei rapoarte, trei cifre diferite

    Departamentul financiar, operațiunile și conducerea calculează fiecare cifra de afaceri sau volumul de dosare în felul său. Ședințele încep cu reconcilierea cifrelor în loc de decizii.

  2. 02

    Nimeni nu răspunde de date, deci nimeni nu le corectează

    Erorile sunt descoperite în aval, corectate într-un fișier Excel și reapar luna următoare.

  3. 03

    Echipa de IA își petrece cea mai mare parte a timpului căutând date

    Fiecare caz de utilizare începe cu săptămâni de cereri de acces, extrageri și curățare pe care următoarea echipă le va repeta.

  4. 04

    Arhivele nu pot fi folosite pentru IA

    Documente scanate cu OCR slab, duplicate și fără metadate. Regăsirea în ele aduce doar zgomot.

02 Ce livrăm

Ce livrăm

  1. 01 Fundații de date pentru IA și analiză

    Arhitecturi lakehouse cu modelare pe straturi, de la datele brute la cele armonizate și la cele pregătite pentru utilizare, și produse de date care arată ce conțin, cât de actuale sunt și cine răspunde de ele.

    Ce facem

    • Arhitectura platformei și alegerea formatelor de stocare
    • Convenții de modelare pe straturi
    • Proiectarea produselor de date, cu contracte
    • Preluare în loturi și prin change data capture

    Ce primiți

    • Platformă lakehouse definită în cod
    • Primele produse de date în producție
    • Model de contract de date și proces de revizuire

  2. 02 Calitate, proveniență și date de bază

    Verificări automate de calitate pe fiecare strat, proveniența datelor de la sursă la raport și date de bază și de referință pentru entitățile care contează: cetățeni, clienți, produse și active.

    Ce facem

    • Reguli de calitate cu praguri și alerte
    • Proveniența la nivel de coloană
    • Reguli de potrivire și de consolidare a datelor de bază
    • Gestionarea datelor de referință

    Ce primiți

    • Dashboard de calitate pentru fiecare produs de date
    • Proveniență care poate fi interogată
    • Înregistrări de referință pentru entitățile prioritare

  3. 03 Guvernanță care se aplică efectiv

    Un catalog, o clasificare și politici de acces pe care platforma le aplică automat. Limitarea scopului și perioadele de păstrare din RGPD sunt codificate, iar partajarea datelor urmează regulile Regulamentului privind guvernanța datelor acolo unde acesta se aplică.

    Ce facem

    • Schemă de clasificare și etichetare
    • Politici de acces bazate pe atribute
    • Automatizarea păstrării și a ștergerii
    • Acorduri de partajare a datelor și controale tehnice

    Ce primiți

    • Catalog populat direct din platformă
    • Politici de acces definite în cod
    • Calendar de păstrare aplicat în practică

  4. 04 Conținut nestructurat pregătit pentru IA

    Îmbunătățirea calității OCR, îmbogățirea metadatelor, eliminarea duplicatelor și curățarea arhivelor, astfel încât soluția Procesarea documentelor și sistemele de regăsire să pornească de la un conținut care merită regăsit.

    Ce facem

    • Inventarul conținutului și verificarea calității prin eșantionare
    • Îmbunătățirea OCR și a extragerii aspectului paginii
    • Detectarea documentelor aproape identice
    • Îmbogățirea metadatelor și clasificare

    Ce primiți

    • Depozit de conținut curățat și îmbogățit
    • Raport privind calitatea conținutului
    • Reguli pentru conținutul adăugat de acum înainte

  5. 05 Analize și BI pe care oamenii le folosesc

    Un strat semantic cu definiții KPI convenite între business și IT, self-service cu reguli clare și analize integrate în produse SaaS și portaluri.

    Ce facem

    • Ateliere pentru definirea indicatorilor KPI
    • Model semantic și strat de metrici
    • Reguli pentru self-service și seturi de date certificate
    • Analize integrate în produsele destinate clienților

    Ce primiți

    • Glosar KPI cu responsabili
    • Model semantic certificat
    • Dashboarduri care înlocuiesc fișierele Excel

  6. 06 Streaming pentru utilizare operațională

    Change data capture și fluxuri de evenimente acolo unde deciziile nu pot aștepta încărcarea de peste noapte: niveluri de stoc, stadiul dosarelor, semnale de fraudă.

    Ce facem

    • Cerințe de latență pentru fiecare caz de utilizare
    • CDC din bazele de date operaționale
    • Procesarea fluxurilor și vederi materializate
    • Proiectarea reluării și a reîncărcării istoricului

    Ce primiți

    • Fluxuri de streaming în producție
    • Vederi operaționale cu ținte de actualitate a datelor
    • Procedură de reluare

03 Arhitectură

O arhitectură de referință ilustrativă

Datele pleacă din sistemele operaționale și din documente, trec prin preluare și ajung într-un lakehouse pe straturi: datele brute, așa cum au fost primite, apoi datele armonizate și verificate, apoi produsele de date cu un responsabil și un contract. Consumatorii nu citesc niciodată date brute.

Din produsele de date, un traseu alimentează stratul semantic și BI; altele alimentează regăsirea și caracteristicile pentru IA, precum și API-urile de date pentru alte sisteme. Guvernanța se află sub toate acestea și este aplicată de platformă, nu de un document de politică.

Exemplu ilustrativ

  1. Surse și preluare

    • Sisteme operaționale
    • Documente după OCR și îmbogățire
    • Loturi și change data capture

  2. Lakehouse

    • Strat de date brute
    • Strat armonizat
    • Verificări de calitate și proveniență
    • Date de bază și de referință
    • Produse de date cu contracte

  3. Utilizare

    • Strat semantic și BI
    • Regăsire și caracteristici pentru IA
    • API-uri de date și partajare

  4. Guvernanță

    • Guvernanță: catalog, clasificare, politici de acces, păstrare
Straturi lakehouse care devin produse de date cu responsabili

Arhitectură ilustrativă, nu sistemul unui client.

Citiți diagrama ca text

Traseul principal pornește de la sistemele operaționale, trece prin preluarea în loturi și prin change data capture, printr-un strat de date brute, un strat de date armonizate și produsele de date și ajunge la un strat semantic cu BI guvernat.

Documentele nestructurate intră și ele prin preluare, după OCR și îmbogățire. Verificările de calitate și proveniența acoperă straturile de date brute și armonizate. Datele de bază și de referință alimentează produsele de date. Produsele de date deservesc și regăsirea și caracteristicile pentru IA, precum și API-urile de date pentru partajare.

O bandă de guvernanță, cu catalog, clasificare, politici de acces și păstrare, acoperă întreaga platformă.

04 Aspecte și limite

Aspecte de inginerie și limite

  • Responsabili­tatea înaintea instrumentelor

    Cum procedăm

    Fiecare produs de date are un responsabil de business, care decide ce înseamnă, și un responsabil tehnic, care îl ține în funcțiune. Vă ajutăm să definiți ambele roluri și contractul dintre producători și consumatori.

    Limite și dependențe

    O platformă nu poate crea responsabilitate. Dacă organizația nu numește responsabili, problemele de calitate vor reveni, oricare ar fi instrumentele.

  • Limitarea scopului în practică

    Cum procedăm

    Datele personale sunt etichetate cu scopurile pentru care pot fi folosite, iar politicile de acces și perioadele de păstrare urmează automat aceste etichete.

    Limite și dependențe

    Ce scopuri sunt legale decid responsabilul cu protecția datelor și consilierii dumneavoastră juridici. Noi implementăm decizia; nu o luăm.

  • Datele pentru IA au propriul prag de calitate

    Cum procedăm

    Pentru cazurile de utilizare IA măsurăm ce au nevoie regăsirea și modelele: acoperire, actualitate, duplicate și calitatea extragerii textului.

    Limite și dependențe

    Unele arhive nu merită corectate. O evaluare pe bază de eșantion vă arată acest lucru, iar uneori răspunsul corect este să le lăsați deoparte.

05 Cum lucrăm

Cum lucrăm

Construim platforma în jurul primelor produse de date care contează, nu invers.

  1. 01

    Alegem decizii, nu seturi de date

    Pornim de la două sau trei decizii sau cazuri de utilizare IA și de la datele de care au nevoie, cu responsabilii numiți.

    RezultatLista produselor de date, cu responsabili

  2. 02

    Construim fundațiile în jurul lor

    Platformă, preluare, verificări de calitate și guvernanță, cât este necesar pentru a deservi corect aceste produse.

    RezultatPrimele produse de date în producție

  3. 03

    Creștem produs cu produs

    Fiecare produs nou reutilizează fundația; catalogul și glosarul KPI cresc odată cu el.

    RezultatFoaia de parcurs a produselor și indicatori de adopție

06 Control uman

Unde controlul rămâne la oameni

Platformele de date automatizează mutarea datelor și verificările. Oamenii decid sensul, accesul și scopul.

  • Responsabilii aprobă definițiile

    Un KPI sau un produs de date își schimbă sensul doar cu aprobarea responsabilului de business, iar modificarea este versionată.

  • Accesul este acordat de responsabilii politicilor

    Responsabilii datelor decid cine poate folosi ce date și în ce scop; platforma aplică decizia și înregistrează fiecare acordare de acces.

  • Abaterile de calitate opresc fluxul

    Când o verificare a contractului eșuează, consumatorii sunt anunțați, iar responsabilul decide dacă datele se publică, se rețin sau se corectează.

07 Tehnologii

Tehnologii cu care lucrăm

Platforme
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse deschis pe Apache Iceberg sau Delta Lake
Fluxuri de date
  • dbt
  • Apache Spark
  • Kafka și Debezium
  • Orchestrare nativă în cloud
Guvernanță
  • Unity Catalog și Purview
  • Cataloage open source
  • Framework-uri pentru calitatea datelor
  • Control al accesului bazat pe politici
Analiză
  • Power BI
  • Straturi semantice și de metrici
  • Analize integrate
  • Analize în SAP (în landscape-uri existente)

Mențiunea unei tehnologii descrie experiența noastră de inginerie. Nu implică un parteneriat cu producătorul ei și nici o recomandare din partea acestuia.

08 Exemplu

Un exemplu ilustrativ

Exemplu ilustrativ

Un singur set de indicatori operaționali pentru un grup cu filiale în trei țări

01Situația
Un grup românesc are filiale în România, Ungaria și Bulgaria. Fiecare filială raportează volumele și restanțele din propriul sistem, cu propriile definiții, iar conducerea grupului compară cifre care nu înseamnă același lucru.
02Ce am construi
Produse de date armonizate pentru fiecare filială, care alimentează un singur strat semantic, cu definiții KPI stabilite la nivel de grup și cu detaliile locale păstrate.
03Unde decid oamenii
Controlorii financiari din fiecare țară aprobă corespondența datelor proprii; responsabilul KPI al grupului aprobă definițiile și modificările lor.
04Ce am măsura
Timpul necesar pentru raportul lunar, numărul corecțiilor de reconciliere și utilizarea dashboardurilor certificate.

09 Pe sectoare

În sectorul dumneavoastră

  • Sănătate și științele vieții

    Date de cercetare și operaționale guvernate, cu limitare strictă a scopului, pseudonimizare și jurnalizarea accesului.

  • Producție și industrie

    Date de bază despre produse și active, date de calitate și de producție legate între ele pentru planificare, trasabilitate și IA.

  • Sector public și administrație

    Surse autentice, principiul „doar o singură dată” și raportări pe care factorii de decizie și auditorii le pot urmări până la înregistrarea de origine, inclusiv pentru schimbul de date prevăzut de Legea nr. 242/2022.

România

Date care trec granițele

Grupurile cu filiale în România și în alte state membre partajează date după reguli care seamănă, dar nu sunt identice. RGPD stabilește un cadru unic pentru datele personale, completat în România de Legea nr. 190/2018 și supravegheat de ANSPDCP, iar Regulamentul privind datele le oferă utilizatorilor drepturi asupra datelor generate de produsele și serviciile conectate. Interpretările naționale privind păstrarea și scopul diferă în continuare.

Pentru autoritățile și instituțiile publice, Legea nr. 242/2022 reglementează schimbul de date între sisteme informatice prin Platforma națională de interoperabilitate.

Proiectăm produse de date ale căror contracte precizează unde pot fi prelucrate datele, în ce scopuri și pentru cât timp, astfel încât platforma să aplice regula potrivită pentru fiecare țară fără copii separate ale datelor.

Întrebări despre date și analiză

Avem nevoie de un data mesh?

Aveți nevoie de părțile utile ale lui: produse de date cu responsabili și contracte. Descentralizarea completă se justifică în organizațiile mari, cu echipe de domeniu mature. Multe organizații obțin rezultate mai bune cu o echipă centrală de platformă și cu responsabilitatea pentru produse la nivelul domeniilor.

Sunt datele noastre pregătite pentru IA?

O evaluare scurtă, pe bază de eșantion, a surselor de care are nevoie un caz de utilizare vă dă răspunsul: acoperire, calitate, drepturi de acces și temei legal. De obicei răspunsul este „parțial”, cu o listă clară a ceea ce trebuie corectat mai întâi. Echipele noastre de Inginerie IA și GenAI folosesc aceeași evaluare.

Avem deja un data warehouse. Începem de la zero?

Rareori. Un data warehouse care produce rapoarte de încredere este un activ. De obicei îl extindem cu capabilități lakehouse pentru date nestructurate și volume mari și migrăm doar acolo unde costul sau limitele o justifică.

Cum gestionați partajarea datelor cu parteneri sau cu alte autorități?

Prin produse de date expuse prin API-uri guvernate, cu acorduri, limitarea scopului și jurnalizare. Acolo unde se aplică Regulamentul privind guvernanța datelor sau Regulamentul privind datele, proiectăm controalele tehnice în consecință. Pentru autoritățile și instituțiile publice din România, schimbul de date între sisteme informatice urmează Legea nr. 242/2022 și Platforma națională de interoperabilitate.

Numiți decizia pe care nu o puteți lua cu datele de azi

Urmărim de ce are nevoie până la surse și vă arătăm ce ar presupune un prim produs de date.

Solicitați o discuțieProcesarea documentelor