Preskočite na glavno vsebino
FromNine
Meni

UI in podatki

Podatki, na katere se lahko zaneseta umetna inteligenca (UI) in vodstvo.

Gradimo podatkovne platforme, v katerih ima vsak nabor podatkov lastnika, pogodbo in znano kakovost, zato analitika, poslovanje in UI uporabljajo iste zanesljive številke.

Za organizacije v Sloveniji, ki potrebujejo en zanesljiv pogled na podatke, razpršene po državah, družbah in starejših sistemih.

Opišite svoj projektDostop do znanja
Podatki in analitika: plasti zmogljivostiŠtiri plasti, naložene druga na drugo. Od zgoraj navzdol: analitika in UI, ki uporabljata podatke, podatkovni produkti z lastniki in pogodbami, plasti lakehouse, ki podatke očistijo in uskladijo, ter upravljanje podatkov, ki pokriva vse.01Uporaba v analitiki in UI02Podatkovni produkti in pogodbe03Plasti lakehouse04Upravljanje in sledljivost
  1. 01Podatkovni produkti z imenovanimi lastniki, pogodbami in preverjanji kakovosti
  2. 02Upravljanje podatkov, ki uveljavlja omejitev namena in roke hrambe, ne le katalog
  3. 03En nabor opredelitev ključnih kazalnikov, ki ga potrdita poslovna stran in IT

01 Težave

Znane težave s podatki

Večina projektov UI, ki razočarajo, se izkaže za prikrite podatkovne projekte.

  1. 01

    Tri poročila, tri različne številke

    Finance, operativa in uprava prihodke ali število zadev računajo vsak po svoje. Sestanki se začnejo z usklajevanjem namesto z odločanjem.

  2. 02

    Podatki nimajo lastnika, zato jih nihče ne popravi

    Napake se odkrijejo šele pri uporabnikih, popravijo v preglednici in se naslednji mesec vrnejo.

  3. 03

    Ekipa za UI večino časa išče podatke

    Vsak primer uporabe se začne s tedni zahtevkov za dostop, izvozov in čiščenja, ki jih bo naslednja ekipa ponovila.

  4. 04

    Arhivi so za UI neuporabni

    Skenirani dokumenti s slabim prepoznavanjem besedila, dvojniki in brez metapodatkov. Iskanje po njih vrača šum.

02 Kaj zagotovimo

Kaj zagotovimo

  1. 01 Podatkovne osnove za UI in analitiko

    Arhitekture lakehouse s plastnim modeliranjem, od surovih prek usklajenih do podatkov za uporabo, in podatkovni produkti, ki objavijo, kaj vsebujejo, kako sveži so in kdo zanje odgovarja.

    Kaj naredimo

    • Arhitektura platforme in izbira formatov shranjevanja
    • Pravila plastnega modeliranja
    • Zasnova podatkovnih produktov s pogodbami
    • Paketni zajem in zajem sprememb podatkov (CDC)

    Kaj prejmete

    • Platforma lakehouse, opredeljena v kodi
    • Prvi podatkovni produkti v produkciji
    • Predloga podatkovne pogodbe in postopek pregleda

  2. 02 Kakovost, sledljivost in matični podatki

    Samodejna preverjanja kakovosti v vsaki plasti, sledljivost od vira do poročila ter matični in šifrantski podatki za ključne entitete: občane, stranke, izdelke in sredstva.

    Kaj naredimo

    • Pravila kakovosti s pragovi in opozorili
    • Zajem sledljivosti na ravni stolpcev
    • Pravila ujemanja in združevanja matičnih podatkov
    • Upravljanje šifrantov

    Kaj prejmete

    • Nadzorna plošča kakovosti za vsak podatkovni produkt
    • Sledljivost, po kateri je mogoče poizvedovati
    • Zlati zapisi za prednostne entitete

  3. 03 Upravljanje podatkov, ki se dejansko uveljavlja

    Katalog, razvrstitev in pravila dostopa, ki jih platforma uveljavlja samodejno. Omejitev namena in roki hrambe po GDPR so zapisani v pravilih, izmenjava podatkov pa sledi pravilom Akta o upravljanju podatkov, kjer se ta uporablja.

    Kaj naredimo

    • Shema razvrstitve in označevanje
    • Pravila dostopa na podlagi atributov
    • Avtomatizacija hrambe in brisanja
    • Dogovori o izmenjavi podatkov in tehnične kontrole

    Kaj prejmete

    • Katalog, ki se polni iz platforme
    • Pravila dostopa kot koda
    • Načrt hrambe v uporabi

  4. 04 Nestrukturirana vsebina, pripravljena za UI

    Boljše prepoznavanje besedila (OCR), bogatenje metapodatkov, odstranjevanje dvojnikov in čiščenje arhivov, da obdelava dokumentov in iskalni sistemi začnejo pri vsebini, ki jo je vredno iskati.

    Kaj naredimo

    • Popis vsebin in vzorčno preverjanje kakovosti
    • Izboljšave OCR in izluščanja postavitve
    • Zaznavanje skoraj enakih dokumentov
    • Bogatenje metapodatkov in razvrščanje

    Kaj prejmete

    • Očiščena in obogatena shramba vsebin
    • Poročilo o kakovosti vsebin
    • Pravila za vsebine, ki se dodajajo odslej

  5. 05 Analitika in poslovno obveščanje, ki ju ljudje uporabljajo

    Semantična plast z opredelitvami ključnih kazalnikov, ki jih dogovorita poslovna stran in IT, nadzorovana samopostrežna analitika in analitika, vgrajena v izdelke SaaS in portale.

    Kaj naredimo

    • Delavnice za opredelitev ključnih kazalnikov
    • Semantični model in plast metrik
    • Varovala za samopostrežbo in potrjeni nabori podatkov
    • Vgrajena analitika za izdelke, namenjene strankam

    Kaj prejmete

    • Slovar ključnih kazalnikov z lastniki
    • Potrjen semantični model
    • Nadzorne plošče, ki nadomestijo preglednice

  6. 06 Pretočni podatki za operativno rabo

    Zajem sprememb podatkov in tokovi dogodkov tam, kjer odločitve ne morejo čakati na nočno nalaganje: zaloge, stanje zadev, znaki goljufij.

    Kaj naredimo

    • Zahteve glede zakasnitve za vsak primer uporabe
    • CDC iz operativnih podatkovnih zbirk
    • Pretočna obdelava in materializirani pogledi
    • Zasnova ponovnega predvajanja in naknadnega polnjenja

    Kaj prejmete

    • Pretočni cevovodi v produkciji
    • Operativni pogledi s cilji svežine
    • Postopek ponovnega predvajanja

03 Arhitektura

Ponazoritvena referenčna arhitektura

Podatki iz operativnih sistemov in dokumentov gredo prek zajema v plastni lakehouse: najprej surovi, kot so prejeti, nato usklajeni in preverjeni, nato podatkovni produkti z lastnikom in pogodbo. Uporabniki nikoli ne berejo surovih podatkov.

Iz podatkovnih produktov ena pot napaja semantično plast in poslovno obveščanje, druge pa iskanje in značilke za UI ter podatkovne API-je za druge sisteme. Pod vsem tem je upravljanje podatkov, ki ga uveljavlja platforma, ne dokument s pravili.

Ponazoritveni primer

  1. Viri in zajem

    • Operativni sistemi
    • Dokumenti po OCR in bogatenju
    • Paketni zajem in zajem sprememb

  2. Lakehouse

    • Surova plast
    • Usklajena plast
    • Preverjanja kakovosti in sledljivost
    • Matični in šifrantski podatki
    • Podatkovni produkti s pogodbami

  3. Uporaba

    • Semantična plast in poslovno obveščanje
    • Iskanje in značilke za UI
    • Podatkovni API-ji in izmenjava

  4. Upravljanje

    • Upravljanje: katalog, razvrstitev, pravila dostopa, hramba
Plasti lakehouse do podatkovnih produktov z lastniki

Ponazoritvena arhitektura, ne sistem stranke.

Preberite diagram kot besedilo

Glavna pot vodi od operativnih sistemov prek paketnega zajema in zajema sprememb podatkov, surove plasti, usklajene plasti in podatkovnih produktov do semantične plasti z nadzorovanim poslovnim obveščanjem.

Nestrukturirani dokumenti po prepoznavanju besedila in bogatenju prav tako vstopijo prek zajema. Preverjanja kakovosti in sledljivost pokrivajo surovo in usklajeno plast. Matični in šifrantski podatki napajajo podatkovne produkte. Podatkovni produkti služijo tudi iskanju in značilkam za UI ter podatkovnim API-jem za izmenjavo.

Pas upravljanja podatkov s katalogom, razvrstitvijo, pravili dostopa in hrambo pokriva celotno platformo.

04 Premisleki in omejitve

Tehnični premisleki in omejitve

  • Lastništvo pred orodji

    Kako to rešujemo

    Vsak podatkovni produkt dobi poslovnega lastnika, ki odloča o njegovem pomenu, in tehničnega lastnika, ki skrbi za njegovo delovanje. Pomagamo opredeliti obe vlogi in pogodbo med ponudniki in uporabniki podatkov.

    Omejitve in odvisnosti

    Platforma ne more ustvariti lastništva. Če organizacija lastnikov ne določi, se težave s kakovostjo vrnejo, ne glede na orodja.

  • Omejitev namena v praksi

    Kako to rešujemo

    Osebni podatki so označeni z nameni, za katere se smejo uporabljati, pravila dostopa in hrambe pa tem oznakam sledijo samodejno.

    Omejitve in odvisnosti

    Kateri nameni so zakoniti, odločijo vaša pooblaščena oseba za varstvo podatkov in pravni svetovalci. Mi to uvedemo, ne odločamo pa o tem.

  • Podatki za UI imajo svoja merila kakovosti

    Kako to rešujemo

    Pri primerih uporabe UI merimo, kar potrebujeta iskanje in model: pokritost, svežino, dvojnike in kakovost izluščenega besedila.

    Omejitve in odvisnosti

    Nekaterih arhivov ni vredno popravljati. Ocena na vzorcu vam bo to pokazala, včasih pa je prava odločitev, da jih izpustite.

05 Kako delamo

Kako delamo

Platformo gradimo okoli prvih podatkovnih produktov, ki so pomembni, ne obratno.

  1. 01

    Izberemo odločitve, ne nabore

    Začnemo pri dveh ali treh odločitvah ali primerih uporabe UI in podatkih, ki jih potrebujejo, z imenovanimi lastniki.

    RezultatSeznam podatkovnih produktov z lastniki

  2. 02

    Okoli njih zgradimo osnove

    Platforma, zajem, preverjanja kakovosti in upravljanje, le toliko, kolikor je treba, da te produkte dobro podpremo.

    RezultatPrvi podatkovni produkti v produkciji

  3. 03

    Rast po produktih

    Vsak nov produkt ponovno uporabi osnovo; katalog in slovar ključnih kazalnikov rasteta z njim.

    RezultatNačrt produktov in merila uporabe

06 Človeški nadzor

Kje odloča človek

Podatkovne platforme avtomatizirajo prenos in preverjanja. Ljudje odločajo o pomenu, dostopu in namenu.

  • Opredelitve potrdijo lastniki

    Ključni kazalnik ali podatkovni produkt spremeni pomen le, če to odobri njegov poslovni lastnik, sprememba pa dobi novo različico.

  • Dostop odobrijo lastniki pravil

    Lastniki podatkov odločijo, kdo sme katere podatke uporabljati za kateri namen; platforma to uveljavi in zabeleži vsako odobritev.

  • Kršitev kakovosti ustavi tok

    Ko preverjanje po pogodbi ne uspe, so uporabniki obveščeni, lastnik pa odloči, ali podatke objavi, zadrži ali popravi.

07 Tehnologije

Tehnologije, s katerimi delamo

Platforme
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Odprti lakehouse na Apache Iceberg ali Delta Lake
Cevovodi
  • dbt
  • Apache Spark
  • Kafka in Debezium
  • Orkestracija z orodji oblačnih ponudnikov
Upravljanje
  • Unity Catalog in Purview
  • Odprtokodni katalogi
  • Ogrodja za kakovost podatkov
  • Nadzor dostopa na podlagi pravil
Analitika
  • Power BI
  • Semantične plasti in plasti metrik
  • Vgrajena analitika
  • Analitika SAP (obstoječa okolja)

Navedba tehnologije opisuje naše inženirske izkušnje. Ne pomeni partnerstva z njenim ponudnikom ali njegove podpore.

08 Primer

Ponazoritveni primer

Ponazoritveni primer

Enotni ključni kazalniki za družinsko podjetje s hčerinskimi družbami v več državah

01Izhodišče
Družinsko podjetje ima hčerinske družbe v Sloveniji, na Hrvaškem in v Avstriji. Vsaka poroča o prodaji, zalogah in zaostankih iz svojega sistema in po svojih opredelitvah, uprava pa primerja številke, ki ne pomenijo istega.
02Kaj bi zgradili
Usklajeni podatkovni produkti za vsako družbo, ki napajajo eno semantično plast z opredelitvami ključnih kazalnikov, dogovorjenimi na ravni skupine, pri čemer se ohranijo lokalne podrobnosti.
03Kje odloča človek
Kontrolorji v posameznih družbah odobrijo preslikavo svojih podatkov; lastnik ključnih kazalnikov v skupini odobri opredelitve in njihove spremembe.
04Kaj bi merili
Čas priprave mesečnega poročila, število popravkov pri usklajevanju in uporaba potrjenih nadzornih plošč.

09 Panoge

V vaši panogi

  • Zdravstvo in farmacija

    Nadzorovani raziskovalni in operativni podatki s strogo omejitvijo namena, psevdonimizacijo in beleženjem dostopa, na primer za zasedenost postelj v regionalni bolnišnici.

  • Proizvodna industrija

    Matični podatki o izdelkih in sredstvih ter podatki o kakovosti in proizvodnji, povezani za načrtovanje, sledljivost in UI.

  • Javni sektor

    Avtentični viri, načelo »samo enkrat« in poročila, ki jih oblikovalci politik in revizorji lahko izsledijo do posameznega zapisa.

Slovenija

Podatki, ki prečkajo meje

Slovenska podjetja s hčerinskimi družbami v sosednjih državah in javne ustanove, ki izmenjujejo podatke z drugimi organi, delajo po pravilih, ki so si podobna, a ne enaka. Splošna uredba o varstvu podatkov (GDPR) določa en okvir za osebne podatke, v Sloveniji jo izvaja Zakon o varstvu osebnih podatkov (ZVOP-2, Uradni list RS, št. 163/22), ki velja od 26. januarja 2023, nadzorni organ pa je Informacijski pooblaščenec.

Akt o podatkih uporabnikom daje pravice do podatkov iz povezanih izdelkov in storitev, nacionalne razlage hrambe in namena pa se še vedno razlikujejo. Od 1. januarja 2028 si poslovni subjekti za dobave v Sloveniji izmenjujejo samo e-račune (ZIERDED), zato bodo podatki o nabavi in prodaji prihajali v strukturirani obliki.

Podatkovne produkte zasnujemo tako, da njihove pogodbe določajo, kje se podatki smejo obdelovati, za katere namene in kako dolgo, zato platforma za vsako državo uporabi pravo pravilo brez ločenih kopij podatkov.

Vprašanja o podatkih in analitiki

Ali potrebujemo podatkovno mrežo (data mesh)?

Potrebujete njene uporabne dele: podatkovne produkte z lastniki in pogodbami. Popolna decentralizacija se izplača v velikih organizacijah z zrelimi domenskimi ekipami. Večini organizacij bolje služita osrednja ekipa platforme in lastništvo produktov v posameznih področjih.

Ali so naši podatki pripravljeni za UI?

To pokaže kratka ocena na vzorcu virov, ki jih potrebuje primer uporabe: pokritost, kakovost, pravice dostopa in pravna podlaga. Odgovor je običajno »deloma«, z jasnim seznamom, kaj popraviti najprej. Enako oceno uporabljajo naše ekipe za razvoj UI.

Že imamo podatkovno skladišče. Ali moramo začeti znova?

Redko. Skladišče, ki zagotavlja zanesljiva poročila, je dragocenost. Običajno ga razširimo z zmogljivostmi lakehouse za nestrukturirane podatke in velike količine podatkov, selimo pa le tam, kjer to upravičujejo stroški ali omejitve.

Kako urejate izmenjavo podatkov s partnerji ali drugimi organi?

Prek podatkovnih produktov, dostopnih prek nadzorovanih API-jev, z dogovori, omejitvijo namena in beleženjem. Kjer se uporabljata Akt o upravljanju podatkov ali Akt o podatkih, temu prilagodimo tehnične kontrole.

Povejte nam, katere odločitve z današnjimi podatki ne morete sprejeti

Potrebne podatke bomo izsledili vse do virov in pokazali, kaj bi zahteval prvi podatkovni produkt.

Opišite svoj projektObdelava dokumentov