Ugrás a fő tartalomra
FromNine
Menü

MI és adatok

Adatok, amelyekre az MI és a döntések építhetnek.

Olyan adatplatformokat építünk, ahol minden adatkészletnek van felelőse, szerződése és ismert minősége, így az analitika, az operatív működés és az MI ugyanazokra a megbízható számokra támaszkodik.

Olyan szervezeteknek, amelyeknek egyetlen megbízható képre van szükségük az országok, jogi személyek és örökölt rendszerek között szétszórt adatokról.

Beszéljük meg a projektjétVállalati tudáskeresés
Adatok és analitika: képességrétegekNégy egymásra épülő réteg. Fentről lefelé: az adatokat felhasználó analitika és MI, a felelőssel és szerződéssel rendelkező adattermékek, a tisztító és egységesítő lakehouse-rétegek és az egészet átfogó adatkormányzás.01Analitika és MI02Adattermékek és szerződések03Lakehouse-rétegek04Adatkormányzás és adatfolyam-követés
  1. 01Adattermékek megnevezett felelőssel, szerződéssel és minőségellenőrzéssel
  2. 02Adatkormányzás, amely a célhoz kötöttséget és a megőrzést is érvényesíti, nem csak katalógus
  3. 03Egyetlen KPI-definíciókészlet, amelyet az üzlet és az IT is jóváhagy

01 Problémák

Ismerős adatproblémák

A legtöbb csalódást okozó MI-projektről kiderül, hogy valójában adatprojekt.

  1. 01

    Három riport, három különböző szám

    A pénzügy, az operatív terület és a vezetés mind a maga módján számolja az árbevételt vagy az ügyszámot. Az értekezletek egyeztetéssel kezdődnek döntés helyett.

  2. 02

    Senkié az adat, így senki sem javítja

    A hibák a folyamat végén derülnek ki, egy táblázatban javítják őket, és a következő hónapban visszatérnek.

  3. 03

    Az MI-csapat ideje nagy részét adatkereséssel tölti

    Minden felhasználási eset hetekig tartó hozzáférési kérelmekkel, kivonatokkal és tisztítással kezdődik, amelyet a következő csapat megismétel.

  4. 04

    Az archívumok használ­hatatlanok az MI számára

    Gyenge karakterfelismeréssel szkennelt dokumentumok, másolatok, metaadatok nélkül. A bennük való keresés zajt ad vissza.

02 Szállítási tételek

Amit szállítunk

  1. 01 Adatalapok MI-hez és analitikához

    Rétegzett modellezésű lakehouse-architektúrák a nyers adattól az egységesített rétegen át a felhasználási rétegig és olyan adattermékek, amelyek közzéteszik, mit tartalmaznak, mennyire frissek, és ki felel értük.

    Amit csinálunk

    • Platformarchitektúra és tárolási formátumok kiválasztása
    • Rétegzett modellezési konvenciók
    • Adattermékek tervezése szerződésekkel
    • Kötegelt betöltés és változásalapú adatrögzítés (CDC)

    Amit Ön kap

    • Kódként definiált lakehouse-platform
    • Az első adattermékek éles üzemben
    • Adatszerződés-sablon és felülvizsgálati folyamat

  2. 02 Minőség, adatfolyam-követés és törzsadatok

    Automatikus minőségellenőrzés minden rétegben, adatfolyam-követés a forrástól a riportig, valamint törzs- és referenciaadatok a fontos entitásokra: állampolgárokra, ügyfelekre, termékekre és eszközökre.

    Amit csinálunk

    • Minőségi szabályok küszöbértékekkel és riasztásokkal
    • Oszlopszintű adatfolyam-követés
    • Törzsadat-párosítás és túlélési szabályok
    • Referenciaadatok kezelése

    Amit Ön kap

    • Minőségi irányítópult adattermékenként
    • Lekérdezhető adatfolyam-követés
    • Hiteles törzsrekordok a kiemelt entitásokra

  3. 03 Érvényesített adatkormányzás

    Katalógus, besorolás és hozzáférési szabályok, amelyeket a platform automatikusan alkalmaz. A GDPR szerinti célhoz kötöttséget és megőrzést beépítjük, az adatmegosztás pedig ott, ahol alkalmazandó, az adatkormányzási rendelet szabályait követi.

    Amit csinálunk

    • Besorolási séma és címkézés
    • Attribútumalapú hozzáférési szabályok
    • A megőrzés és a törlés automatizálása
    • Adatmegosztási megállapodások és műszaki kontrollok

    Amit Ön kap

    • A platformból feltöltött katalógus
    • Hozzáférési szabályok kódként
    • Működő megőrzési rend

  4. 04 Strukturálatlan tartalom MI-re felkészítve

    A karakterfelismerés minőségének javítása, metaadatokkal való gazdagítás, a másolatok kiszűrése és az archívum rendbetétele, hogy az intelligens dokumentumfeldolgozás és a keresőrendszerek érdemi tartalomból induljanak.

    Amit csinálunk

    • Tartalomleltár és mintavételes minőségvizsgálat
    • A karakterfelismerés és az elrendezés-kinyerés javítása
    • Közel azonos másolatok felismerése
    • Metaadatokkal való gazdagítás és besorolás

    Amit Ön kap

    • Megtisztított, gazdagított tartalomtár
    • Tartalomminőségi jelentés
    • Szabályok az ezután érkező tartalomra

  5. 05 Analitika és BI, amelyet használnak

    Szemantikai réteg az üzlet és az IT által egyeztetett KPI-definíciókkal, szabályozott önkiszolgáló elemzés és beágyazott analitika SaaS-termékekben és portálokban.

    Amit csinálunk

    • KPI-definíciós workshopok
    • Szemantikai modell és mutatóréteg
    • Önkiszolgálási korlátok és tanúsított adatkészletek
    • Beágyazott analitika ügyfeleknek szóló termékekben

    Amit Ön kap

    • KPI-szójegyzék felelősökkel
    • Tanúsított szemantikai modell
    • Irányítópultok, amelyek kiváltják a táblázatokat

  6. 06 Adatfolyamok operatív használatra

    Változásalapú adatrögzítés és eseményfolyamok ott, ahol a döntés nem várhat az éjszakai betöltésre: készletszintek, ügyállapot, csalásra utaló jelek.

    Amit csinálunk

    • Késleltetési követelmények felhasználási esetenként
    • CDC az operatív adatbázisokból
    • Folyamfeldolgozás és materializált nézetek
    • Visszajátszás és utólagos feltöltés megtervezése

    Amit Ön kap

    • Éles adatfolyam-feldolgozó láncok
    • Operatív nézetek frissességi célokkal
    • Visszajátszási eljárás

03 Architektúra

Szemléltető referencia­architektúra

Az adatok az operatív rendszerekből és a dokumentumokból betöltéssel jutnak egy rétegzett lakehouse-ba: először nyersen, ahogy beérkeztek, aztán egységesítve és minőségellenőrzötten, végül felelőssel és szerződéssel rendelkező adattermékként. A felhasználók soha nem olvasnak nyers adatot.

Az adattermékekből egy útvonal a szemantikai réteget és a BI-t táplálja, a többi az MI-keresést és a jellemzőket, valamint más rendszerek adat-API-jait. Alattuk az adatkormányzás áll, amelyet a platform alkalmaz, nem egy szabályzatdokumentum.

Szemléltető példa

  1. Források és betöltés

    • Operatív rendszerek
    • Dokumentumok karakter­felismerés és gazdagítás után
    • Kötegelt betöltés és CDC

  2. Lakehouse

    • Nyers réteg
    • Egységesített réteg
    • Minőség­ellenőrzés és adatfolyam-követés
    • Törzs- és referenciaadatok
    • Adattermékek szerződéssel

  3. Felhasználás

    • Szemantikai réteg és BI
    • MI-keresés és jellemzők
    • Adat-API-k és megosztás

  4. Adatkormányzás

    • Adatkormányzás: katalógus, besorolás, hozzáférési szabályok, megőrzés
Lakehouse-rétegekből gazdával rendelkező adattermékek

Szemléltető architektúra, nem ügyfélrendszer.

Az ábra szöveges változata

A fő útvonal az operatív rendszerektől a kötegelt és változásalapú betöltésen, a nyers rétegen, az egységesített rétegen és az adattermékeken át a szemantikai rétegig és a szabályozott BI-ig vezet.

A strukturálatlan dokumentumok karakterfelismerés és gazdagítás után szintén a betöltésen át érkeznek. A minőségellenőrzés és az adatfolyam-követés a nyers és az egységesített réteget fedi le. A törzs- és referenciaadatok az adattermékeket táplálják. Az adattermékek az MI-keresést és a jellemzőket, valamint a megosztásra szolgáló adat-API-kat is kiszolgálják.

Egy adatkormányzási sáv katalógussal, besorolással, hozzáférési szabályokkal és megőrzéssel fogja át a platformot.

04 Szempontok és korlátok

Mérnöki szempontok és korlátok

  • Előbb a felelősség, aztán az eszköz

    Hogyan kezeljük

    Minden adattermék kap egy üzleti felelőst, aki eldönti, mit jelent, és egy műszaki felelőst, aki működteti. Segítünk mindkét szerepkört és az előállítók és a felhasználók közötti szerződést meghatározni.

    Korlátok és függőségek

    Egy platform nem teremt felelősséget. Ha a szervezet nem jelöl ki felelősöket, a minőségi problémák visszatérnek, bármilyen eszközt használ.

  • Célhoz kötöttség a gyakorlatban

    Hogyan kezeljük

    A személyes adatokat azokkal a célokkal címkézzük, amelyeket szolgálhatnak, a hozzáférési szabályok és a megőrzés pedig automatikusan követik ezeket a címkéket.

    Korlátok és függőségek

    Hogy mely célok jogszerűek, arról az adatvédelmi tisztviselője és jogi tanácsadója dönt. Mi megvalósítjuk, nem mi döntünk róla.

  • Az MI-nek szánt adatoknak saját minőségi mércéjük van

    Hogyan kezeljük

    MI-felhasználási eseteknél azt mérjük, amire a keresésnek és a modelleknek szükségük van: lefedettséget, frissességet, másolatokat és a szövegkinyerés minőségét.

    Korlátok és függőségek

    Egyes archívumokat nem éri meg javítani. Egy mintavételes felmérés megmutatja, és néha az a helyes döntés, hogy kimaradnak.

05 Hogyan dolgozunk

Hogyan dolgozunk

A platformot az első fontos adattermékek köré építjük, nem fordítva.

  1. 01

    Döntésekből induljunk, ne adatkészletekből

    Két-három döntésből vagy MI-felhasználási esetből és az ezekhez szükséges adatokból indulunk, megnevezett felelősökkel.

    EredményAdattermék-várólista felelősökkel

  2. 02

    Alapok köréjük építve

    Platform, betöltés, minőségellenőrzés és adatkormányzás, éppen annyi, amennyi ezeknek a termékeknek a megfelelő kiszolgálásához kell.

    EredményAz első adattermékek éles üzemben

  3. 03

    Bővítés termékenként

    Minden új termék újrahasznosítja az alapot, a katalógus és a KPI-szójegyzék vele együtt nő.

    EredményTermékütemterv és használati mutatók

06 Emberi kontroll

Ahol az ember dönt

Az adatplatformok automatizálják az adatmozgatást és az ellenőrzéseket. A jelentésről, a hozzáférésről és a célról ember dönt.

  • A felelős hagyja jóvá a definíciókat

    Egy KPI vagy adattermék jelentése csak az üzleti felelős jóváhagyásával változik, és a változás verziózott.

  • A hozzáférést a szabálygazdák adják

    Az adatgazdák döntik el, ki milyen adatot milyen célra használhat. A platform ezt érvényesíti, és minden engedélyt naplóz.

  • A minőségi hiba megállítja a folyamatot

    Ha egy szerződésellenőrzés sikertelen, a felhasználók értesítést kapnak, a felelős pedig eldönti, hogy közzéteszi, visszatartja vagy javítja az adatot.

07 Technológiák

Technológiák, amelyekkel dolgozunk

Platformok
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Nyílt lakehouse Apache Iceberg vagy Delta Lake alapon
Adatfeldolgozó láncok
  • dbt
  • Apache Spark
  • Kafka és Debezium
  • Felhőnatív vezérlés
Adatkormányzás
  • Unity Catalog és Purview
  • Nyílt forráskódú katalógusok
  • Adatminőségi keretrendszerek
  • Szabályalapú hozzáférés-szabályozás
Analitika
  • Power BI
  • Szemantikai és mutatórétegek
  • Beágyazott analitika
  • SAP-analitika (meglévő környezetekben)

Egy technológia felsorolása a mérnöki tapasztalatunkat írja le. Nem jelent partnerséget a gyártóval, és nem jelenti azt, hogy a gyártó ajánlana minket.

08 Példa

Szemléltető példa

Szemléltető példa

Egységes működési KPI-k egy családi vállalkozás­csoportnak

01Helyzet
Egy családi vállalkozás magyarországi, szlovákiai és romániai leányvállalatokkal működik. Minden leányvállalat a saját rendszeréből, saját definíciókkal jelenti az átfutást és a hátralékot, így a csoportvezetés olyan számokat hasonlít össze, amelyek nem ugyanazt jelentik.
02Amit építenénk
Leányvállalatonként egységesített adattermékek, amelyek egyetlen szemantikai réteget táplálnak, csoportszinten egyeztetett KPI-definíciókkal, a helyi részletek megőrzésével.
03Ahol ember dönt
A leányvállalatok kontrollerei hagyják jóvá a saját adataik leképezését, a csoportszintű KPI-felelős pedig a definíciókat és azok változásait.
04Amit mérnénk
A havi riport elkészítésének ideje, az egyeztetési javítások száma és a tanúsított irányítópultok használata.

09 Ágazati nézőpont

Az Ön ágazatában

  • Egészségügy és élettudományok

    Szabályozott kutatási és működési adatok szigorú célhoz kötöttséggel, álnevesítéssel és a hozzáférések naplózásával.

  • Ipar és gyártás

    Termék- és eszköztörzsadatok, minőségi és gyártási adatok összekapcsolva a tervezéshez, a nyomon követhetőséghez és az MI-hez.

  • Közszféra

    Közhiteles nyilvántartások, az egyszeri adatszolgáltatás elve és olyan jelentések, amelyeket a döntéshozók és az ellenőrök a rekordig vissza tudnak követni.

Magyarország

Adatok országhatárokon át

Sok magyar vállalat nemzetközi csoport tagja, és sok magyar vállalkozás maga is működtet leányvállalatokat a szomszédos országokban. Az adatok olyan szabályok szerint mozognak, amelyek hasonlítanak, de nem azonosak: a GDPR egységes keretet ad, amelyet Magyarországon az Infotv. (2011. évi CXII. törvény) egészít ki, és amelynek hazai felügyeleti hatósága a NAIH; az adatrendelet jogokat ad a felhasználóknak az összekapcsolt termékek és a kapcsolódó szolgáltatások adataihoz; a megőrzés és a célhoz kötöttség értelmezése pedig országonként eltér.

A pénzügyi adatoknál ehhez jön, hogy minden belföldi számla adatát a NAV Online Számla rendszere valós időben megkapja, ezért a riportoknak ugyanazokkal a számokkal kell egyezniük. Olyan adattermékeket tervezünk, amelyek szerződése rögzíti, hol, milyen célra és meddig kezelhetők az adatok, így a platform országonként a megfelelő szabályt alkalmazza, az adatok külön másolatai nélkül.

Kérdések az adatokról és az analitikáról

Szükségünk van adathálóra (data mesh)?

A hasznos részeire igen: felelőssel és szerződéssel rendelkező adattermékekre. A teljes decentralizáció érett szakterületi csapatokkal rendelkező nagy szervezeteknél térül meg. Sok szervezetnek jobban beválik egy központi platformcsapat, a termékek felelőssége pedig a szakterületeknél marad.

Készen állnak az adataink az MI-re?

Egy rövid, mintavételes felmérés azokról a forrásokról, amelyekre egy felhasználási esetnek szüksége van, megadja a választ: lefedettség, minőség, hozzáférési jogok és jogalap. A válasz általában „részben”, egyértelmű listával arról, mit kell először javítani. Az MI-fejlesztési csapataink ugyanezt a felmérést használják.

Már van adattárházunk. Elölről kezdjük?

Ritkán. Egy megbízható riportokat kiszolgáló adattárház érték. Általában lakehouse-képességekkel bővítjük a strukturálatlan és nagy volumenű adatokhoz, és csak ott migrálunk, ahol a költség vagy a korlátok indokolják.

Hogyan kezelik az adatmegosztást partnerekkel vagy más hatóságokkal?

Szabályozott API-kon keresztül elérhető adattermékekkel, megállapodásokkal, célhoz kötöttséggel és naplózással. Ahol az adatkormányzási rendelet vagy az adatrendelet alkalmazandó, a műszaki kontrollokat ehhez igazítjuk.

Nevezze meg azt a döntést, amelyet a mai adatokkal nem tud meghozni

Visszakövetjük a szükséges adatokat a forrásokig, és megmutatjuk, mi kellene egy első adattermékhez.

Beszéljük meg a projektjétDokumentumfeldolgozás