Liikuge põhisisu juurde
FromNine
Menüü

TI ja andmed

Andmed, millele tehisintellekt ja otsused saavad toetuda.

Ehitame andmeplatvorme, kus igal andmestikul on omanik, leping ja teadaolev kvaliteet, nii et analüütika, igapäevatöö ja tehisintellekt kasutavad samu usaldusväärseid numbreid.

Eesti organisatsioonidele, kelle andmed on laiali mitme süsteemi, üksuse ja riigi vahel ning kes vajavad neist üht usaldusväärset pilti.

Arutame teie projektiTeadmusotsing
Andmed ja analüütika: võimekuste kihidNeli kihti üksteise taga. Ülevalt alla: analüütika ja TI, mis andmeid kasutavad, omanike ja lepingutega andmetooted, lakehouse’i kihid, mis andmeid puhastavad ja ühtlustavad, ning andmehaldus kõige selle all.01Analüütika ja TI kasutus02Andmetooted ja lepingud03Lakehouse’i kihid04Andmehaldus ja päritolu
  1. 01Andmetooted nimetatud omanike, lepingute ja kvaliteedikontrollidega
  2. 02Andmehaldus, mis kodeerib eesmärgi piirangu ja säilitamise, mitte ainult kataloog
  3. 03Üks KPI-definitsioonide kogum, mille kinnitavad nii äri kui ka IT

01 Probleemid

Tuttavad andmeprobleemid

Enamik pettumust valmistavaid TI-projekte osutub tegelikult varjatud andmeprojektideks.

  1. 01

    Kolm aruannet, kolm erinevat numbrit

    Finantsosakond, tootmine ja juhatus arvutavad käivet või menetluste mahtu igaüks omal moel. Koosolekud algavad numbrite kokkuviimisest, mitte otsustamisest.

  2. 02

    Andmetel pole omanikku, seega ei paranda neid keegi

    Vead leitakse alles allavoolu, parandatakse tabelarvutuses ja tulevad järgmisel kuul tagasi.

  3. 03

    TI-meeskond kulutab suurema osa ajast andmete otsimisele

    Iga kasutusjuht algab nädalatepikkuste juurdepääsutaotluste, väljavõtete ja puhastamisega, mida järgmine meeskond kordab.

  4. 04

    Arhiivid ei sobi tehisintellektile

    Halva tekstituvastusega skannitud dokumendid, duplikaadid ja metaandmete puudumine. Otsing nende seast toob müra.

02 Mida tarnime

Mida tarnime

  1. 01 Andmealused TI ja analüütika jaoks

    Lakehouse-arhitektuurid kihilise modelleerimisega toorandmetest ühtlustatud andmete ja kasutuskihini ning andmetooted, mis avaldavad, mida need sisaldavad, kui värsked need on ja kes nende eest vastutab.

    Mida teeme

    • Platvormi arhitektuur ja salvestusvormingute valik
    • Kihilise modelleerimise kokkulepped
    • Andmetoodete kavandamine koos lepingutega
    • Pakett- ja muudatuste püüdmisel (CDC) põhinev laadimine

    Mida saate

    • Koodina defineeritud lakehouse-platvorm
    • Esimesed andmetooted tootmises
    • Andmelepingu mall ja ülevaatusprotsess

  2. 02 Kvaliteet, päritolu ja põhiandmed

    Automaatsed kvaliteedikontrollid igas kihis, päritolu allikast aruandeni ning põhi- ja viiteandmed olulistele üksustele: kodanikud, kliendid, tooted ja varad.

    Mida teeme

    • Kvaliteedireeglid koos lävendite ja häiretega
    • Päritolu salvestamine veeru tasemel
    • Põhiandmete sidumise ja ellujäämise reeglid
    • Viiteandmete haldus

    Mida saate

    • Kvaliteedi töölaud andmetoote kaupa
    • Päritolu, mille kohta saab päringuid teha
    • Kuldkirjed prioriteetsetele üksustele

  3. 03 Andmehaldus, mida jõustatakse

    Kataloog, klassifikatsioon ja juurdepääsureeglid, mida platvorm rakendab automaatselt. IKÜM-i eesmärgi piirang ja säilitamine on kodeeritud ning andmete jagamine järgib andmehalduse määruse reegleid, kus see kehtib.

    Mida teeme

    • Klassifikatsiooniskeem ja märgendamine
    • Atribuudipõhised juurdepääsureeglid
    • Säilitamise ja kustutamise automatisee­rimine
    • Andmejagamise lepingud ja tehnilised kontrollid

    Mida saate

    • Platvormist täidetud kataloog
    • Juurdepääsureeglid koodina
    • Toimiv säilitusajakava

  4. 04 Struktureerimata sisu ettevalmistamine tehisintellekti jaoks

    Tekstituvastuse kvaliteedi parandamine, metaandmete rikastamine, duplikaatide eemaldamine ja arhiivi korrastamine, nii et dokumenditöötlus ja otsingusüsteemid alustavad sisust, mida tasub otsida.

    Mida teeme

    • Sisu inventuur ja kvaliteedi valimikontroll
    • Tekstituvastuse ja paigutuse eraldamise parandused
    • Peaaegu identsete dokumentide tuvastamine
    • Metaandmete rikastamine ja klassifitseerimine

    Mida saate

    • Puhastatud ja rikastatud sisuhoidla
    • Sisu kvaliteedi aruanne
    • Reeglid edaspidi lisatava sisu jaoks

  5. 05 Analüütika ja BI, mida inimesed kasutavad

    Semantiline kiht äri ja IT poolt kokkulepitud KPI-definitsioonidega, juhitud iseteenindus ja SaaS-toodetesse ning portaalidesse põimitud analüütika.

    Mida teeme

    • KPI-definitsioonide töötoad
    • Semantiline mudel ja mõõdikute kiht
    • Iseteeninduse piirid ja sertifitseeritud andmestikud
    • Põimitud analüütika klientidele suunatud toodetes

    Mida saate

    • KPI-sõnastik koos omanikega
    • Sertifitseeritud semantiline mudel
    • Töölauad, mis asendavad tabelarvutuse

  6. 06 Voogandmed igapäevatöö jaoks

    Muudatuste püüdmine ja sündmusvood seal, kus otsused ei saa oodata öist laadimist: laoseis, menetluse olek, pettusesignaalid.

    Mida teeme

    • Viivitusnõuded kasutusjuhu kaupa
    • CDC operatiivandmebaasidest
    • Voogtöötlus ja materialiseeritud vaated
    • Kordamise ja tagantjärele laadimise kavandamine

    Mida saate

    • Voogtorud tootmises
    • Operatiivvaated värskuse sihtidega
    • Kordamise kord

03 Arhitektuur

Illustreeriv viitearhitektuur

Andmed liiguvad operatiivsüsteemidest ja dokumentidest laadimise kaudu kihilisse lakehouse’i: toorandmed saabumise kujul, siis ühtlustatud ja kvaliteedikontrolli läbinud andmed, siis omaniku ja lepinguga andmetooted. Kasutajad ei loe kunagi toorandmeid.

Andmetoodetest toidab üks tee semantilist kihti ja BI-d; teised toidavad TI-otsingut ja tunnuseid ning andme-API-sid teiste süsteemide jaoks. Andmehaldus on kõige selle all ja seda rakendab platvorm, mitte poliitikadokument.

Illustreeriv näide

  1. Allikad ja laadimine

    • Operatiiv­süsteemid
    • Dokumendid pärast teksti­tuvastust ja rikastamist
    • Pakett- ja CDC-laadimine

  2. Lakehouse

    • Toorkiht
    • Ühtlustatud kiht
    • Kvaliteedi­kontrollid ja päritolu
    • Põhi- ja viite­andmed
    • Andmetooted lepingutega

  3. Kasutus

    • Semantiline kiht ja BI
    • TI-otsing ja tunnused
    • Andme-API-d ja jagamine

  4. Andmehaldus

    • Andmehaldus: kataloog, klassifikatsioon, juurdepääsureeglid, säilitamine
Lakehouse’i kihid omanikuga andmetoodeteks

Illustreeriv arhitektuur, mitte kliendi süsteem.

Lugege joonist tekstina

Põhitee kulgeb operatiivsüsteemidest pakett- ja CDC-laadimise, toorkihi, ühtlustatud kihi ja andmetoodete kaudu semantilise kihi ja juhitud BI-ni.

Struktureerimata dokumendid jõuavad laadimisse pärast tekstituvastust ja rikastamist. Kvaliteedikontrollid ja päritolu katavad toor- ja ühtlustatud kihti. Põhi- ja viiteandmed toidavad andmetooteid. Andmetooted teenindavad ka TI-otsingut ja tunnuseid ning andme-API-sid jagamiseks.

Kogu platvormi hõlmab andmehalduse riba kataloogi, klassifikatsiooni, juurdepääsureeglite ja säilitamisega.

04 Kaalutlused ja piirangud

Tehnilised kaalutlused ja piirangud

  • Omanik enne tööriistu

    Kuidas me seda lahendame

    Igal andmetootel on äripoolne omanik, kes otsustab, mida see tähendab, ja tehniline omanik, kes hoiab selle töös. Aitame määratleda mõlemad rollid ning tootjate ja kasutajate vahelise lepingu.

    Piirangud ja sõltuvused

    Platvorm ei loo omanikku. Kui organisatsioon omanikke ei määra, tulevad kvaliteediprobleemid tagasi, ükskõik milliste tööriistadega.

  • Eesmärgi piirang praktikas

    Kuidas me seda lahendame

    Isikuandmed märgistatakse eesmärkidega, mida need tohivad teenida, ning juurdepääsureeglid ja säilitamine järgivad neid märgiseid automaatselt.

    Piirangud ja sõltuvused

    Millised eesmärgid on õiguspärased, otsustavad teie andmekaitsespetsialist ja juristid. Meie rakendame otsuse, me ei tee seda.

  • TI jaoks mõeldud andmetel on oma kvaliteedilatt

    Kuidas me seda lahendame

    TI-kasutusjuhtude puhul mõõdame seda, mida otsing ja mudelid vajavad: katvust, värskust, duplikaate ja teksti eraldamise kvaliteeti.

    Piirangud ja sõltuvused

    Mõnda arhiivi ei tasu parandada. Valimipõhine hinnang ütleb selle teile ja mõnikord on õige vastus jätta need välja.

05 Kuidas töötame

Kuidas töötame

Ehitame platvormi esimeste oluliste andmetoodete ümber, mitte vastupidi.

  1. 01

    Otsused, mitte andmestikud

    Alustame kahest või kolmest otsusest või TI-kasutusjuhust ja andmetest, mida need vajavad, koos nimetatud omanikega.

    TulemusAndmetoodete järjekord koos omanikega

  2. 02

    Alused nende ümber

    Platvorm, laadimine, kvaliteedikontrollid ja andmehaldus täpselt nii palju, kui on vaja nende toodete korralikuks teenindamiseks.

    TulemusEsimesed andmetooted tootmises

  3. 03

    Kasv toote kaupa

    Iga uus toode kasutab sama alust; kataloog ja KPI-sõnastik kasvavad koos sellega.

    TulemusToodete teekaart ja kasutuse mõõdikud

06 Inimese kontroll

Kus inimesed jäävad otsustajaks

Andmeplatvormid automatiseerivad liikumist ja kontrolle. Inimesed otsustavad tähenduse, juurdepääsu ja eesmärgi.

  • Omanikud kinnitavad definitsioonid

    KPI või andmetoote tähendus muutub ainult siis, kui selle äripoolne omanik kinnitab, ja muudatus versioonitakse.

  • Juurdepääsu annavad reeglite omanikud

    Andmete omanikud otsustavad, kes tohib milliseid andmeid millisel eesmärgil kasutada; platvorm jõustab selle ja logib iga loa.

  • Kvaliteedirikkumine peatab liini

    Kui lepingukontroll ebaõnnestub, teavitatakse kasutajaid ja omanik otsustab, kas avaldada, peatada või parandada.

07 Tehnoloogiad

Tehnoloogiad, millega töötame

Platvormid
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Avatud lakehouse Apache Icebergil või Delta Lake’il
Andmetorud
  • dbt
  • Apache Spark
  • Kafka ja Debezium
  • Pilvepõhine orkestreerimine
Andmehaldus
  • Unity Catalog ja Purview
  • Avatud lähtekoodiga kataloogid
  • Andmekvaliteedi raamistikud
  • Reeglipõhine juurdepääsukontroll
Analüütika
  • Power BI
  • Semantilised ja mõõdikute kihid
  • Põimitud analüütika
  • SAP-i analüütika (olemasolevad keskkonnad)

Tehnoloogia loetelu kirjeldab meie inseneride kogemust. See ei tähenda partnerlust tootjaga ega tootja heakskiitu.

08 Näide

Illustreeriv näide

Illustreeriv näide

Ühtsed võtmenäitajad eksportijale, kellel on tütarettevõtted Eestis, Soomes ja Rootsis

01Olukord
Tootmisettevõte arvestab müüki, tellimuste jääki ja tarneaega igas riigis oma süsteemis ja oma definitsioonidega. Juhatus võrdleb numbreid, mis ei tähenda sama asja.
02Mida me ehitaksime
Ühtlustatud andmetooted iga riigi kohta, mis toidavad üht semantilist kihti. KPI-definitsioonid lepitakse kokku kontserni tasemel ja riigi detailid säilivad.
03Kus otsustavad inimesed
Riikide kontrollerid kinnitavad oma andmete vastavusse viimise; kontserni KPI omanik kinnitab definitsioonid ja muudatused.
04Mida me mõõdaksime
Kuuaruande koostamise aeg, kokkuviimisparanduste arv ja sertifitseeritud töölaudade kasutus.

09 Valdkondade vaade

Teie valdkonnas

  • Tervishoid ja eluteadused

    Hooldekodude, haiglate ja ravimitootjate andmed range eesmärgi piirangu, pseudonüümimise ja juurdepääsu logimisega.

  • Tootmine ja tööstus

    Toote- ja varade põhiandmed, kvaliteedi- ja tootmisandmed ühendatud planeerimise, jälgitavuse ja tehisintellekti jaoks.

  • Avalik sektor

    Põhiregistrite andmed X-tee kaudu, andmete ühekordse küsimise põhimõte ja aruandlus, mille saavad poliitikakujundajad ja audiitorid kirjeni tagasi jälgida.

Eesti

Andmed üle piiride ja registrite

Kui Eesti eksportijal on tütarettevõtted Soomes, Rootsis või mujal Euroopa Liidus, arvestab iga üksus sageli oma süsteemis. IKÜM seab isikuandmetele ühe raami ja andmemäärus annab kasutajatele õigused ühendatud toodete ja teenuste andmetele. Eestis täpsustab IKÜM-i isikuandmete kaitse seadus ja järelevalvet teeb Andmekaitse Inspektsioon (AKI).

Avalikus sektoris tulevad paljud andmed põhiregistritest X-tee kaudu. Kavandame andmetooted, mille lepingutes on kirjas, kus andmeid tohib töödelda, millisel eesmärgil ja kui kaua, nii et platvorm rakendab iga üksuse ja riigi jaoks õiget reeglit ilma andmete eraldi koopiateta.

Küsimused andmete ja analüütika kohta

Kas vajame andmevõrku (data mesh)?

Teil on vaja selle kasulikke osi: omanike ja lepingutega andmetooteid. Täielik detsentraliseerimine tasub end ära suurtes organisatsioonides, kus on küpsed valdkonnameeskonnad. Paljudele organisatsioonidele sobib paremini keskne platvormimeeskond ja toodete valdkondlik omanikkond.

Kas meie andmed on tehisintellekti jaoks valmis?

Seda näitab lühike valimipõhine hinnang allikatele, mida kasutusjuht vajab: katvus, kvaliteet, juurdepääsuõigused ja õiguslik alus. Vastus on tavaliselt „osaliselt“, koos selge nimekirjaga, mida kõigepealt parandada. Meie TI-arenduse meeskonnad kasutavad sama hinnangut.

Meil on juba andmeladu. Kas alustame otsast peale?

Harva. Andmeladu, mis annab usaldusväärseid aruandeid, on vara. Tavaliselt laiendame seda lakehouse’i võimekustega struktureerimata ja suuremahuliste andmete jaoks ning viime üle ainult siis, kui kulu või piirangud seda õigustavad.

Kuidas käsitlete andmete jagamist partnerite või teiste asutustega?

Juhitud API-de kaudu avaldatud andmetoodetega, kus on paigas lepingud, eesmärgi piirang ja logimine. Avalikus sektoris tähendab see sageli andmevahetust X-tee kaudu. Kui kehtivad andmehalduse määrus või andmemäärus, kavandame tehnilised kontrollid vastavalt.

Nimetage otsus, mida tänaste andmetega teha ei saa

Jälgime, mida see vajab, allikateni tagasi ja näitame, mida esimene andmetoode nõuaks.

Arutame teie projektiDokumenditöötlus