Preskočiť na hlavný obsah
FromNine
Ponuka

AI a dáta

Dáta, na ktoré sa môže spoľahnúť AI aj rozhodovanie.

Staviame dátové platformy, v ktorých má každá dátová sada vlastníka, zmluvu a známu kvalitu, takže analytika, prevádzka aj AI čerpajú z tých istých dôveryhodných čísel.

Pre organizácie, ktoré potrebujú jeden dôveryhodný pohľad na dáta rozdelené medzi krajiny, spoločnosti a staršie systémy.

Konzultovať váš projektFiremné znalosti
Dáta a analytika: vrstvy schopnostíŠtyri vrstvy uložené do hĺbky. Zhora nadol: analytika a AI, ktoré dáta využívajú, dátové produkty s vlastníkmi a zmluvami, vrstvy lakehouse, ktoré dáta čistia a zjednocujú, a správa dát naprieč všetkým.01Využitie v analytike a AI02Dátové produkty a zmluvy03Vrstvy lakehouse04Správa dát a pôvod údajov
  1. 01Dátové produkty s menovanými vlastníkmi, zmluvami a kontrolami kvality
  2. 02Správa dát, ktorá zapracuje obmedzenie účelu a uchovávanie, nielen katalóg
  3. 03Jedna sada definícií ukazovateľov, ktorú podpíše biznis aj IT

01 Problémy

Známe problémy s dátami

Väčšina AI projektov, ktoré sklamú, sa ukáže ako prestrojené dátové projekty.

  1. 01

    Tri reporty, tri rôzne čísla

    Financie, prevádzka a vedenie počítajú tržby alebo počet spisov každý po svojom. Porady sa začínajú zosúlaďovaním namiesto rozhodovania.

  2. 02

    Dáta nikto nevlastní, a preto ich nikto neopraví

    Chyby sa nájdu až na konci reťazca, opravia sa v tabuľke a o mesiac sú späť.

  3. 03

    AI tím trávi väčšinu času hľadaním dát

    Každý prípad použitia sa začína týždňami žiadostí o prístup, exportov a čistenia, ktoré ďalší tím zopakuje.

  4. 04

    Archívy sú pre AI nepoužiteľné

    Skenované dokumenty so slabým OCR, duplicity a žiadne metadáta. Vyhľadávanie nad nimi vracia šum.

02 Čo dodávame

Čo dodávame

  1. 01 Dátové základy pre AI a analytiku

    Architektúry lakehouse s vrstveným modelovaním od surových cez zjednotené až po dáta na použitie a dátové produkty, ktoré zverejňujú, čo obsahujú, aké sú aktuálne a kto za ne zodpovedá.

    Čo robíme

    • Architektúra platformy a voľba formátov úložiska
    • Konvencie vrstveného modelovania
    • Návrh dátových produktov so zmluvami
    • Dávkový príjem a zachytávanie zmien (CDC)

    Čo dostanete

    • Platforma lakehouse definovaná v kóde
    • Prvé dátové produkty v produkcii
    • Šablóna dátovej zmluvy a postup jej preskúmania

  2. 02 Kvalita, pôvod údajov a kmeňové dáta

    Automatizované kontroly kvality v každej vrstve, pôvod údajov od zdroja po report a kmeňové a referenčné dáta pre entity, na ktorých záleží: občanov, zákazníkov, výrobky a majetok.

    Čo robíme

    • Pravidlá kvality s hranicami a upozorneniami
    • Zachytávanie pôvodu údajov na úrovni stĺpcov
    • Párovanie kmeňových dát a pravidlá výberu platného záznamu
    • Správa referenčných dát

    Čo dostanete

    • Prehľad kvality pre každý dátový produkt
    • Pôvod údajov, na ktorý sa dá pýtať
    • Zlaté záznamy pre prioritné entity

  3. 03 Správa dát, ktorá sa vynucuje

    Katalóg, klasifikácia a pravidlá prístupu, ktoré platforma uplatňuje automaticky. Obmedzenie účelu a uchovávanie podľa GDPR sú zapracované v platforme a zdieľanie dát sa riadi pravidlami aktu o správe údajov tam, kde sa uplatňuje.

    Čo robíme

    • Klasifikačná schéma a označovanie
    • Pravidlá prístupu založené na atribútoch
    • Automatizované uchovávanie a vymazávanie
    • Dohody o zdieľaní dát a technické kontroly

    Čo dostanete

    • Katalóg napĺňaný z platformy
    • Pravidlá prístupu ako kód
    • Plán uchovávania v prevádzke

  4. 04 Neštruktúro­vaný obsah pripravený pre AI

    Lepšie OCR, obohatenie metadát, odstránenie duplicít a upratanie archívov, aby spracovanie dokumentov a systémy vyhľadávania začínali z obsahu, ktorý sa oplatí vyhľadávať.

    Čo robíme

    • Súpis obsahu a výberové kontroly kvality
    • Zlepšenie OCR a vyťaženia rozloženia
    • Detekcia takmer zhodných duplicít
    • Obohatenie metadát a klasifikácia

    Čo dostanete

    • Vyčistené a obohatené úložisko obsahu
    • Správa o kvalite obsahu
    • Pravidlá pre obsah pridávaný odteraz

  5. 05 Analytika a BI, ktoré ľudia používajú

    Sémantická vrstva s definíciami ukazovateľov dohodnutými medzi biznisom a IT, riadená samoobslužná analytika a analytika zabudovaná do SaaS produktov a portálov.

    Čo robíme

    • Workshopy k definíciám ukazovateľov
    • Sémantický model a vrstva metrík
    • Pravidlá samoobsluhy a certifikované dátové sady
    • Zabudovaná analytika pre produkty pre zákazníkov

    Čo dostanete

    • Slovník ukazovateľov s vlastníkmi
    • Certifikovaný sémantický model
    • Prehľady, ktoré nahradia tabuľky

  6. 06 Streamovanie pre prevádzku

    Zachytávanie zmien a prúdy udalostí tam, kde rozhodnutia nemôžu čakať na nočnú dávku: stav zásob, stav spisu, signály podvodu.

    Čo robíme

    • Požiadavky na latenciu pre každý prípad použitia
    • CDC z prevádzkových databáz
    • Spracovanie prúdov a materializované pohľady
    • Návrh prehratia a dopĺňania historických dát

    Čo dostanete

    • Streamovacie pipeline v produkcii
    • Prevádzkové pohľady s cieľmi aktuálnosti
    • Postup prehratia

03 Architektúra

Ilustratívna referenčná architektúra

Dáta putujú z prevádzkových systémov a dokumentov cez príjem do lakehouse s vrstvami: surové dáta tak, ako prišli, potom zjednotené a skontrolované a nakoniec dátové produkty s vlastníkom a zmluvou. Spotrebitelia nikdy nečítajú surové dáta.

Z dátových produktov vedie jedna trasa do sémantickej vrstvy a BI, ďalšie do vyhľadávania a príznakov pre AI a do dátových API pre iné systémy. Správa dát leží pod tým všetkým a uplatňuje ju platforma, nie dokument so smernicou.

Ilustračný príklad

  1. Zdroje a príjem

    • Prevádzkové systémy
    • Dokumenty po OCR a obohatení
    • Dávky a zachytávanie zmien

  2. Lakehouse

    • Surová vrstva
    • Zjednotená vrstva
    • Kontroly kvality a pôvod údajov
    • Kmeňové a referenčné dáta
    • Dátové produkty so zmluvami

  3. Využitie

    • Sémantická vrstva a BI
    • Vyhľadávanie a príznaky pre AI
    • Dátové API a zdieľanie

  4. Správa dát

    • Správa dát: katalóg, klasifikácia, pravidlá prístupu, uchovávanie
Vrstvy lakehouse až po vlastnené dátové produkty

Ilustratívna architektúra, nie systém klienta.

Prečítať diagram ako text

Hlavná trasa vedie z prevádzkových systémov cez príjem s dávkami a zachytávaním zmien, surovú vrstvu, zjednotenú vrstvu a dátové produkty do sémantickej vrstvy s riadeným BI.

Neštruktúrované dokumenty vstupujú do príjmu tiež, po OCR a obohatení. Kontroly kvality a pôvod údajov pokrývajú surovú a zjednotenú vrstvu. Kmeňové a referenčné dáta napájajú dátové produkty. Dátové produkty slúžia aj vyhľadávaniu a príznakom pre AI a dátovým API na zdieľanie.

Pás správy dát s katalógom, klasifikáciou, pravidlami prístupu a uchovávaním sa tiahne celou platformou.

04 Zásady a hranice

Inžinierske zásady a hranice

  • Vlastníctvo pred nástrojmi

    Ako to riešime

    Každý dátový produkt dostane biznis vlastníka, ktorý rozhoduje o jeho význame, a technického vlastníka, ktorý ho udržiava v prevádzke. Pomôžeme obe roly vymedziť aj nastaviť zmluvu medzi tými, ktorí dáta tvoria, a tými, ktorí ich používajú.

    Hranice a závislosti

    Platforma vlastníctvo nevytvorí. Ak organizácia vlastníkov neurčí, problémy s kvalitou sa vrátia bez ohľadu na nástroje.

  • Obmedzenie účelu v praxi

    Ako to riešime

    Osobné údaje sú označené účelmi, na ktoré smú slúžiť, a pravidlá prístupu aj uchovávania sa týmito označeniami riadia automaticky.

    Hranice a závislosti

    Ktoré účely sú zákonné, rozhoduje vaša zodpovedná osoba a vaši právnici. My to implementujeme, nerozhodujeme o tom.

  • Dáta pre AI majú vlastnú latku kvality

    Ako to riešime

    Pri prípadoch použitia AI meriame to, čo potrebuje vyhľadávanie a modely: pokrytie, aktuálnosť, duplicity a kvalitu vyťaženia textu.

    Hranice a závislosti

    Niektoré archívy sa neoplatí opravovať. Posúdenie na vzorke vám to povie a niekedy je správna odpoveď nechať ich bokom.

05 Ako pracujeme

Ako pracujeme

Platformu staviame okolo prvých dátových produktov, na ktorých záleží, nie naopak.

  1. 01

    Vybrať rozhodnutia, nie dátové sady

    Začneme dvoma alebo tromi rozhodnutiami či prípadmi použitia AI a dátami, ktoré potrebujú, s menovanými vlastníkmi.

    VýstupZoznam dátových produktov s vlastníkmi

  2. 02

    Postaviť okolo nich základy

    Platforma, príjem, kontroly kvality a správa dát, presne v rozsahu potrebnom na to, aby tieto produkty slúžili poriadne.

    VýstupPrvé dátové produkty v produkcii

  3. 03

    Rásť po produktoch

    Každý nový produkt využije existujúci základ; katalóg a slovník ukazovateľov rastú spolu s ním.

    VýstupPlán produktov a miery ich využitia

06 Kontrola človekom

Kde majú kontrolu ľudia

Dátové platformy automatizujú presuny a kontroly. O význame, prístupe a účele rozhodujú ľudia.

  • Definície schvaľujú vlastníci

    Ukazovateľ alebo dátový produkt zmení význam, len keď to schváli jeho biznis vlastník, a zmena je verzovaná.

  • Prístup udeľujú vlastníci pravidiel

    Vlastníci dát rozhodujú, kto smie ktoré dáta použiť na aký účel; platforma to vynucuje a zaznamenáva každé udelenie.

  • Porušenie kvality zastaví linku

    Keď kontrola zmluvy zlyhá, používatelia dostanú správu a vlastník rozhodne, či dáta zverejní, pozdrží alebo opraví.

07 Technológie

Technológie, s ktorými pracujeme

Platformy
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Otvorený lakehouse na Apache Iceberg alebo Delta Lake
Pipeline
  • dbt
  • Apache Spark
  • Kafka a Debezium
  • Cloudová orchestrácia
Správa dát
  • Unity Catalog a Purview
  • Open-source katalógy
  • Rámce pre kvalitu dát
  • Riadenie prístupu na základe pravidiel
Analytika
  • Power BI
  • Sémantické vrstvy a vrstvy metrík
  • Zabudovaná analytika
  • Analytika SAP (existujúce prostredia)

Uvedenie technológie opisuje naše inžinierske skúsenosti. Neznamená partnerstvo s jej dodávateľom ani jeho odporúčanie.

08 Príklad

Ilustratívny príklad

Ilustračný príklad

Jedna sada ukazovateľov pre rodinnú firmu s dcérskymi firmami v zahraničí

01Situácia
Slovenský rodinný výrobca má dcérske spoločnosti v niekoľkých susedných krajinách. Každá vykazuje tržby, marže a zásoby zo svojho systému a podľa vlastných definícií, takže vedenie skupiny porovnáva čísla, ktoré neznamenajú to isté.
02Čo by sme postavili
Zjednotené dátové produkty pre každú spoločnosť napájajú jednu sémantickú vrstvu s definíciami ukazovateľov dohodnutými na úrovni skupiny, pričom miestne detaily zostávajú zachované.
03Kde rozhodujú ľudia
Kontrolóri jednotlivých spoločností schvaľujú mapovanie svojich dát; vlastník ukazovateľov skupiny schvaľuje definície a ich zmeny.
04Čo by sme merali
Čas potrebný na mesačný report, počet opráv pri zosúlaďovaní a využívanie certifikovaných prehľadov.

09 Pohľad odvetvia

Vo vašom odvetví

  • Zdravotníctvo a life sciences

    Riadené výskumné a prevádzkové dáta s prísnym obmedzením účelu, pseudonymizáciou a záznamom prístupov.

  • Výroba a priemysel

    Kmeňové dáta výrobkov a zariadení, dáta o kvalite a výrobe prepojené pre plánovanie, vysledovateľnosť a AI.

  • Verejná správa

    Autoritatívne zdroje údajov, princíp „jedenkrát a dosť“ a vykazovanie, ktoré tvorcovia politík aj kontrolóri dokážu vysledovať až k záznamu.

Slovensko

Dáta, ktoré prekračujú hranice

Slovenské rodinné firmy a priemyselné skupiny majú často dcérske spoločnosti v susedných krajinách a každá vykazuje zo svojho systému. Zdieľajú dáta podľa pravidiel, ktoré vyzerajú podobne, no nie sú rovnaké. GDPR dáva jeden rámec pre osobné údaje a akt o údajoch dáva používateľom práva na dáta z pripojených výrobkov a služieb; dohľad nad ochranou osobných údajov však vykonáva každý štát sám, na Slovensku Úrad na ochranu osobných údajov SR (ÚOOÚ SR), a výklad uchovávania a účelu sa stále líši.

Navrhujeme dátové produkty, ktorých zmluvy obsahujú, kde sa dáta smú spracúvať, na aké účely a ako dlho, aby platforma uplatnila správne pravidlo pre každú krajinu bez samostatných kópií dát.

Otázky k dátam a analytike

Potrebujeme data mesh?

Potrebujete jeho užitočné časti: dátové produkty s vlastníkmi a zmluvami. Úplná decentralizácia sa oplatí vo veľkých organizáciách so zrelými doménovými tímami. Mnohým organizáciám viac vyhovuje centrálny platformový tím a vlastníctvo produktov v jednotlivých doménach.

Sú naše dáta pripravené na AI?

Povie vám to krátke posúdenie zdrojov, ktoré prípad použitia potrebuje, na vzorke: pokrytie, kvalita, prístupové práva a právny základ. Odpoveď je zvyčajne „čiastočne“, s jasným zoznamom toho, čo opraviť najskôr. Rovnaké posúdenie používajú aj naše tímy AI inžinierstva.

Už máme dátový sklad. Začíname odznova?

Zriedka. Dátový sklad, ktorý dodáva dôveryhodné reporty, je hodnota. Zvyčajne ho rozšírime o schopnosti lakehouse pre neštruktúrované a objemné dáta a migrujeme len tam, kde to odôvodňujú náklady alebo obmedzenia.

Ako riešite zdieľanie dát s partnermi alebo inými úradmi?

Cez dátové produkty sprístupnené riadenými API, s dohodami, obmedzením účelu a záznamom prístupov. Kde sa uplatňuje akt o správe údajov alebo akt o údajoch, navrhneme technické kontroly tak, aby im zodpovedali.

Pomenujte rozhodnutie, ktoré s dnešnými dátami urobiť neviete

Vysledujeme, čo potrebuje, až k zdrojom a ukážeme, čo by si vyžiadal prvý dátový produkt.

Konzultovať váš projektSpracovanie dokumentov