Prijeđite na glavni sadržaj
FromNine
Izbornik

AI i podaci

Podaci na koje se mogu osloniti i AI i odluke.

Gradimo podatkovne platforme na kojima svaki skup podataka ima vlasnika, ugovor i poznatu kvalitetu, tako da analitika, poslovanje i umjetna inteligencija (AI) crpe iste provjerene brojke.

Za grupe i javna tijela u Hrvatskoj kojima treba jedan pouzdan pogled na podatke iz više društava, lokacija i naslijeđenih sustava.

Dogovorite razgovorPristup znanju u organizaciji
Podaci i analitika: slojevi mogućnostiČetiri sloja složena u dubinu. Odozgo prema dolje: analitika i AI koji koriste podatke, podatkovni proizvodi s vlasnicima i ugovorima, lakehouse slojevi koji čiste i usklađuju podatke te upravljanje podacima preko svega.01Analitika i AI02Podatkovni proizvodi i ugovori03Lakehouse slojevi04Upravljanje i podrijetlo
  1. 01Podatkovni proizvodi s imenovanim vlasnicima, ugovorima i provjerama kvalitete
  2. 02Upravljanje koje provodi ograničavanje svrhe i rokove čuvanja, a ne samo katalog
  3. 03Jedan skup definicija ključnih pokazatelja koji potpisuju i poslovanje i IT

01 Problemi

Poznati problemi s podacima

Većina AI projekata koji razočaraju zapravo su prerušeni podatkovni projekti.

  1. 01

    Tri izvješća, tri različite brojke

    Financije, operativa i uprava svaka na svoj način računaju prihod ili broj predmeta. Sastanci počinju usklađivanjem umjesto odlučivanjem.

  2. 02

    Podaci nemaju vlasnika, pa ih nitko ne popravlja

    Pogreške se otkrivaju na kraju lanca, ispravljaju u proračunskoj tablici i vraćaju se sljedeći mjesec.

  3. 03

    AI tim većinu vremena troši na traženje podataka

    Svaki slučaj upotrebe počinje tjednima zahtjeva za pristup, izvoza i čišćenja koje će sljedeći tim ponoviti.

  4. 04

    Arhive su neupotrebljive za AI

    Skenirani dokumenti sa slabim OCR-om, duplikati i bez metapodataka. Dohvat nad njima vraća šum.

02 Isporuke

Što isporučujemo

  1. 01 Podatkovni temelji za AI i analitiku

    Lakehouse arhitekture sa slojevitim modeliranjem, od sirovih preko usklađenih do podataka spremnih za upotrebu, i podatkovni proizvodi koji objavljuju što sadrže, koliko su svježi i tko za njih odgovara.

    Što radimo

    • Arhitektura platforme i izbor formata pohrane
    • Konvencije slojevitog modeliranja
    • Dizajn podatkovnih proizvoda s ugovorima
    • Unos u serijama i hvatanjem promjena podataka (CDC)

    Što dobivate

    • Lakehouse platforma definirana kodom
    • Prvi podatkovni proizvodi u produkciji
    • Predložak podatkovnog ugovora i postupak pregleda

  2. 02 Kvaliteta, podrijetlo i matični podaci

    Automatske provjere kvalitete na svakom sloju, podrijetlo od izvora do izvješća te matični i referentni podaci za entitete koji su važni: građane, klijente, proizvode i imovinu.

    Što radimo

    • Pravila kvalitete s pragovima i upozorenjima
    • Bilježenje podrijetla na razini stupca
    • Pravila uparivanja matičnih podataka i odabira važećeg zapisa
    • Upravljanje referentnim podacima

    Što dobivate

    • Nadzorna ploča kvalitete za svaki podatkovni proizvod
    • Podrijetlo podataka koje se može pretraživati
    • Zlatni zapisi za prioritetne entitete

  3. 03 Upravljanje koje se provodi

    Katalog, klasifikacija i pravila pristupa koje platforma primjenjuje automatski. Ograničavanje svrhe i rokovi čuvanja iz Opće uredbe o zaštiti podataka (GDPR) ugrađeni su u platformu, a dijeljenje podataka slijedi pravila Akta o upravljanju podacima gdje se on primjenjuje.

    Što radimo

    • Shema klasifikacije i označavanje
    • Pravila pristupa na temelju atributa
    • Automatizirano čuvanje i brisanje
    • Sporazumi o dijeljenju podataka i tehničke kontrole

    Što dobivate

    • Katalog koji puni sama platforma
    • Pravila pristupa kao kôd
    • Raspored čuvanja u primjeni

  4. 04 Nestrukturirani sadržaj spreman za AI

    Poboljšanje kvalitete OCR-a, obogaćivanje metapodacima, uklanjanje duplikata i čišćenje arhiva, kako bi inteligentna obrada dokumenata i sustavi dohvata krenuli od sadržaja koji vrijedi dohvaćati.

    Što radimo

    • Popis sadržaja i uzorkovanje kvalitete
    • Poboljšanja OCR-a i izdvajanja rasporeda
    • Otkrivanje gotovo istovjetnih dokumenata
    • Obogaćivanje metapodacima i klasifikacija

    Što dobivate

    • Očišćeno i obogaćeno spremište sadržaja
    • Izvješće o kvaliteti sadržaja
    • Pravila za sadržaj koji se dodaje ubuduće

  5. 05 Analitika i BI koje ljudi koriste

    Semantički sloj s definicijama ključnih pokazatelja koje su dogovorili poslovanje i IT, samoposlužna analitika uz jasna pravila i analitika ugrađena u SaaS proizvode i portale.

    Što radimo

    • Radionice za definiranje ključnih pokazatelja
    • Semantički model i sloj metrika
    • Pravila za samoposlužnu analitiku i certificirani skupovi podataka
    • Ugrađena analitika za proizvode namijenjene klijentima

    Što dobivate

    • Pojmovnik ključnih pokazatelja s vlasnicima
    • Certificirani semantički model
    • Nadzorne ploče koje zamjenjuju proračunske tablice

  6. 06 Strujanje podataka za operativnu upotrebu

    Hvatanje promjena podataka i tokovi događaja ondje gdje odluke ne mogu čekati noćno učitavanje: zalihe, status predmeta, signali prijevare.

    Što radimo

    • Zahtjevi za latenciju za svaki slučaj upotrebe
    • CDC iz operativnih baza podataka
    • Obrada tokova i materijalizirani pogledi
    • Dizajn ponovne obrade i naknadnog punjenja

    Što dobivate

    • Cjevovodi za strujanje u produkciji
    • Operativni pogledi s ciljevima svježine
    • Postupak ponovne obrade

03 Arhitektura

Ilustrativna referentna arhitektura

Podaci iz operativnih sustava i dokumenata kroz unos ulaze u lakehouse sa slojevima: sirovi sloj kakav je zaprimljen, zatim usklađeni sloj s provjerenom kvalitetom, a zatim podatkovni proizvodi s vlasnikom i ugovorom. Korisnici nikad ne čitaju sirove podatke.

Iz podatkovnih proizvoda jedan put puni semantički sloj i BI, a drugi dohvat i značajke za AI te podatkovne API-je za druge sustave. Upravljanje podacima nalazi se ispod svega i provodi ga platforma, a ne dokument s pravilima.

Ilustrativni primjer

  1. Izvori i unos

    • Operativni sustavi
    • Dokumenti nakon OCR-a i obogaćivanja
    • Serije i hvatanje promjena

  2. Lakehouse

    • Sirovi sloj
    • Usklađeni sloj
    • Provjere kvalitete i podrijetlo
    • Matični i referentni podaci
    • Podatkovni proizvodi s ugovorima

  3. Upotreba

    • Semantički sloj i BI
    • Dohvat i značajke za AI
    • Podatkovni API-ji i dijeljenje

  4. Upravljanje

    • Upravljanje: katalog, klasifikacija, pravila pristupa, čuvanje
Lakehouse slojevi i podatkovni proizvodi s vlasnicima

Ilustrativna arhitektura, a ne sustav klijenta.

Pročitajte dijagram kao tekst

Glavni put vodi od operativnih sustava preko unosa u serijama i hvatanjem promjena podataka, sirovog sloja, usklađenog sloja i podatkovnih proizvoda do semantičkog sloja s BI-jem pod pravilima upravljanja.

Nestrukturirani dokumenti također ulaze kroz unos, nakon OCR-a i obogaćivanja. Provjere kvalitete i podrijetlo pokrivaju sirovi i usklađeni sloj. Matični i referentni podaci pune podatkovne proizvode. Podatkovni proizvodi služe i dohvatu i značajkama za AI te podatkovnim API-jima za dijeljenje.

Pojas upravljanja s katalogom, klasifikacijom, pravilima pristupa i rokovima čuvanja proteže se preko cijele platforme.

04 Razmatranja i ograničenja

Inženjerska razmatranja i ograničenja

  • Vlasništvo prije alata

    Kako to rješavamo

    Svaki podatkovni proizvod dobiva poslovnog vlasnika koji odlučuje što znači i tehničkog vlasnika koji ga održava. Pomažemo definirati obje uloge i ugovor između onih koji podatke proizvode i onih koji ih koriste.

    Ograničenja i ovisnosti

    Platforma ne može stvoriti vlasništvo. Ako organizacija ne imenuje vlasnike, problemi s kvalitetom vratit će se, kakvi god bili alati.

  • Ograničavanje svrhe u praksi

    Kako to rješavamo

    Osobni podaci označeni su svrhama kojima smiju služiti, a pravila pristupa i rokovi čuvanja automatski slijede te oznake.

    Ograničenja i ovisnosti

    Koje su svrhe zakonite, odlučuju vaš službenik za zaštitu podataka i pravni savjetnici. Mi to provodimo; ne odlučujemo o tome.

  • Podaci za AI imaju vlastitu razinu kvalitete

    Kako to rješavamo

    Za AI slučajeve upotrebe mjerimo ono što trebaju dohvat i modeli: pokrivenost, svježinu, duplikate i kvalitetu izdvajanja teksta.

    Ograničenja i ovisnosti

    Neke arhive ne vrijedi popravljati. Procjena na uzorku to će pokazati, a ponekad je pravi odgovor da ih se izostavi.

05 Kako radimo

Kako radimo

Platformu gradimo oko prvih važnih podatkovnih proizvoda, a ne obrnuto.

  1. 01

    Odluke, a ne skupovi podataka

    Krećemo od dviju ili triju odluka ili AI slučajeva upotrebe i podataka koji su im potrebni, s imenovanim vlasnicima.

    RezultatPopis podatkovnih proizvoda s vlasnicima

  2. 02

    Temelji oko njih

    Platforma, unos, provjere kvalitete i upravljanje, taman toliko da se ti proizvodi dobro posluže.

    RezultatPrvi podatkovni proizvodi u produkciji

  3. 03

    Rast proizvod po proizvod

    Svaki novi proizvod ponovno koristi temelj; katalog i pojmovnik ključnih pokazatelja rastu s njim.

    RezultatPlan proizvoda i mjere usvajanja

06 Ljudski nadzor

Gdje ljudi zadržavaju kontrolu

Podatkovne platforme automatiziraju kretanje podataka i provjere. Ljudi odlučuju o značenju, pristupu i svrsi.

  • Vlasnici odobravaju definicije

    Ključni pokazatelj ili podatkovni proizvod mijenja značenje samo uz odobrenje poslovnog vlasnika, a promjena dobiva novu verziju.

  • Pristup odobravaju vlasnici pravila

    Vlasnici podataka odlučuju tko smije koristiti koje podatke i u koju svrhu; platforma to provodi i bilježi svako odobrenje.

  • Povreda kvalitete zaustavlja liniju

    Kad provjera ugovora ne prođe, korisnici dobivaju obavijest, a vlasnik odlučuje hoće li podatke objaviti, zadržati ili ispraviti.

07 Tehnologije

Tehnologije s kojima radimo

Platforme
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Otvoreni lakehouse na Apache Icebergu ili Delta Lakeu
Cjevovodi
  • dbt
  • Apache Spark
  • Kafka i Debezium
  • Orkestracija izvorno u cloudu
Upravljanje
  • Unity Catalog i Purview
  • Katalozi otvorenog koda
  • Okviri za kvalitetu podataka
  • Kontrola pristupa temeljena na pravilima
Analitika
  • Power BI
  • Semantički slojevi i slojevi metrika
  • Ugrađena analitika
  • SAP analitika (postojeća okruženja)

Navođenje tehnologije opisuje naše inženjersko iskustvo. Ne podrazumijeva partnerstvo s njezinim dobavljačem ni njegovu preporuku.

08 Primjer

Ilustrativni primjer

Ilustrativni primjer

Jedan skup ključnih pokazatelja za obiteljsku metalo­prera­đivačku grupu

01Polazište
Obiteljska metaloprerađivačka grupa ima društva u Hrvatskoj, Sloveniji i Austriji. Svako društvo iskazuje proizvodnju, iskorištenost strojeva i zaostale narudžbe iz vlastitog ERP-a i prema vlastitim definicijama, pa uprava grupe uspoređuje brojke koje ne znače isto.
02Što bismo izgradili
Usklađeni podatkovni proizvodi za svako društvo koji pune jedan semantički sloj s definicijama ključnih pokazatelja dogovorenima na razini grupe, uz očuvane lokalne pojedinosti.
03Gdje odlučuju ljudi
Kontrolori društava odobravaju preslikavanje svojih podataka; vlasnik pokazatelja na razini grupe odobrava definicije i njihove promjene.
04Što bismo mjerili
Vrijeme izrade mjesečnog izvješća, broj ispravaka pri usklađivanju i upotreba certificiranih nadzornih ploča.

09 Po sektorima

U vašem sektoru

  • Zdravstvo i znanosti o životu

    Istraživački i operativni podaci pod jasnim pravilima, sa strogim ograničavanjem svrhe, pseudonimizacijom i bilježenjem pristupa.

  • Proizvodnja i industrija

    Matični podaci o proizvodima i imovini te podaci o kvaliteti i proizvodnji povezani za planiranje, sljedivost i AI.

  • Javni sektor

    Autentični izvori, načelo „samo jednom” i izvještavanje koje donositelji politika i revizori mogu pratiti do izvornog zapisa.

Hrvatska

Podaci koji prelaze granice

Mnoge hrvatske grupe imaju društva i u drugim državama članicama, a javna tijela razmjenjuju podatke s drugim tijelima. Opća uredba o zaštiti podataka (GDPR) postavlja jedan okvir za osobne podatke, a nadzorno tijelo u Hrvatskoj je Agencija za zaštitu osobnih podataka (AZOP). Akt o podacima korisnicima daje prava nad podacima iz povezanih proizvoda i usluga, a tumačenja rokova čuvanja i svrhe i dalje se razlikuju od države do države.

Projektiramo podatkovne proizvode čiji ugovori navode gdje se podaci smiju obrađivati, u koje svrhe i koliko dugo, tako da platforma za svako društvo i svaku državu primjenjuje pravo pravilo bez zasebnih kopija podataka.

Pitanja o podacima i analitici

Treba li nam data mesh?

Trebaju vam njegovi korisni dijelovi: podatkovni proizvodi s vlasnicima i ugovorima. Potpuna decentralizacija isplati se u velikim organizacijama sa zrelim timovima po domenama. Mnogim je organizacijama bolje sa središnjim timom za platformu i vlasništvom domena nad proizvodima.

Jesu li naši podaci spremni za AI?

To će pokazati kratka procjena na uzorku izvora koje slučaj upotrebe treba: pokrivenost, kvaliteta, prava pristupa i pravna osnova. Odgovor je obično „djelomično”, s jasnim popisom onoga što treba najprije popraviti. Istu procjenu koriste i naši timovi za AI inženjering.

Već imamo skladište podataka. Počinjemo li ispočetka?

Rijetko. Skladište podataka koje daje pouzdana izvješća vrijedna je imovina. Obično ga proširujemo lakehouse mogućnostima za nestrukturirane podatke i velike količine podataka, a migriramo samo ondje gdje to opravdavaju trošak ili ograničenja.

Kako dijelite podatke s partnerima ili drugim tijelima?

Putem podatkovnih proizvoda izloženih kroz upravljane API-je, uz sporazume, ograničavanje svrhe i zapisivanje. Gdje se primjenjuju Akt o upravljanju podacima ili Akt o podacima, tehničke kontrole projektiramo u skladu s njima.

Navedite odluku koju s današnjim podacima ne možete donijeti

Pratit ćemo ono što joj treba unatrag do izvora i pokazati što bi zahtijevao prvi podatkovni proizvod.

Dogovorite razgovorObrada dokumenata