Joan eduki nagusira
FromNine
Menua

AA eta datuak

AAk eta erabakiek fidagarritzat har ditzaketen datuak.

Datu-plataformak eraikitzen ditugu, eta haietan datu-multzo bakoitzak jabe bat, kontratu bat eta kalitate ezagun bat ditu; horrela, analitikak, eragiketek eta AAk zenbaki fidagarri berberak erabiltzen dituzte.

Erakunde, sistema eta lantegi askotan sakabanatutako datuen ikuspegi fidagarri bakarra behar duten erakundeentzat.

Hitz egin dezagunErakundearen ezagutza
Datuak eta analitika: gaitasun-geruzakLau geruza, sakoneran pilatuta. Goitik behera: datuak erabiltzen dituzten analitika eta AA, jabe eta kontratudun datu-produktuak, datuak garbitu eta bateratzen dituzten lakehouse geruzak, eta guztiaren gaineko gobernantza.01Analitika eta AA02Datu-produktuak eta kontratuak03Lakehouse geruzak04Gobernantza eta trazabilitatea
  1. 01Jabe izendunak, kontratuak eta kalitate-egiaztapenak dituzten datu-produktuak
  2. 02Helburu-mugapena eta atxikipena kodetzen dituen gobernantza, ez katalogo hutsa
  3. 03Negozioak eta IKT sailak sinatzen dituzten KPI definizio bakarrak

01 Arazoak

Datu-arazo ezagunak

Huts egiten duten AA proiektu gehienak, azken batean, mozorrotutako datu-proiektuak dira.

  1. 01

    Hiru txosten, hiru zenbaki desberdin

    Finantzek, eragiketek eta zuzendaritzak bakoitzak bere erara kalkulatzen dituzte diru-sarrerak edo espediente-kopurua. Bilerak zenbakiak bateratzen hasten dira, erabakitzen hasi beharrean.

  2. 02

    Inor ez da datuen jabe; beraz, inork ez ditu konpontzen

    Akatsak beheragoko sistemetan aurkitzen dira, kalkulu-orri batean zuzentzen dira eta hurrengo hilean berriro agertzen dira.

  3. 03

    AA taldeak denbora gehiena datuak bilatzen ematen du

    Erabilera-kasu bakoitza asteetako sarbide-eskaerekin, erauzketekin eta garbiketekin hasten da, eta hurrengo taldeak gauza bera errepikatuko du.

  4. 04

    Artxiboak ez dira AArako erabilgarriak

    OCR txarreko dokumentu eskaneatuak, bikoiztuak eta metadaturik gabeak. Haien gaineko bilaketak zarata itzultzen du.

02 Zer ematen dugun

Zer ematen dugun

  1. 01 Datu-oinarriak AArako eta analitikarako

    Geruzaka modelatutako lakehouse arkitekturak, datu gordinetatik bateratuetara eta kontsumora, eta zer duten, zein freskoak diren eta nor den haien erantzule argitaratzen duten datu-produktuak.

    Zer egiten dugun

    • Plataformaren arkitektura eta biltegiratze-formatuen aukeraketa
    • Geruzaka modelatzeko konbentzioak
    • Datu-produktuen diseinua, kontratuekin
    • Lote bidezko karga eta aldaketen datu-kaptura (CDC)

    Zer jasotzen duzun

    • Kodean definitutako lakehouse plataforma
    • Lehen datu-produktuak produkzioan
    • Datu-kontratuen txantiloia eta berrikuspen-prozesua

  2. 02 Kalitatea, trazabilitatea eta datu maisuak

    Kalitate-egiaztapen automatikoak geruza guztietan, trazabilitatea iturritik txostenera, eta garrantzia duten entitateen datu maisuak eta erreferentzia-datuak: herritarrak, bezeroak, produktuak eta aktiboak.

    Zer egiten dugun

    • Kalitate-arauak, atalase eta alertekin
    • Zutabe-mailako trazabilitatea
    • Datu maisuen parekatzea eta biziraupen-arauak
    • Erreferentzia-datuen kudeaketa

    Zer jasotzen duzun

    • Kalitate-panela datu-produktu bakoitzeko
    • Kontsulta daitekeen trazabilitatea
    • Erregistro nagusiak entitate lehenetsientzat

  3. 03 Betearazten den gobernantza

    Plataformak automatikoki aplikatzen dituen katalogoa, sailkapena eta sarbide-politikak. Datuak Babesteko Erregelamendu Orokorraren (DBEO) helburu-mugapena eta atxikipena kodetuta daude, eta datuen partekatzeak Datuen Gobernantzari buruzko Erregelamenduaren arauak betetzen ditu, aplikatzen den kasuetan.

    Zer egiten dugun

    • Sailkapen-eskema eta etiketatzea
    • Atributuetan oinarritutako sarbide-politikak
    • Atxikipenaren eta ezabatzearen automatizazioa
    • Datuak partekatzeko akordioak eta kontrol teknikoak

    Zer jasotzen duzun

    • Plataformatik elikatutako katalogoa
    • Sarbide-politikak kode gisa
    • Atxikipen-egutegia martxan

  4. 04 Egituratu gabeko edukia, AArako prest

    OCRaren kalitatearen hobekuntza, metadatuen aberastea, bikoiztuak kentzea eta artxiboen garbiketa; horrela, dokumentuen tratamendurako eta bilaketarako sistemak berreskuratzea merezi duen edukitik abiatzen dira.

    Zer egiten dugun

    • Edukien inbentarioa eta kalitatearen laginketa
    • OCRaren eta orri-diseinuaren erauzketaren hobekuntzak
    • Ia-bikoiztuen detekzioa
    • Metadatuen aberastea eta sailkapena

    Zer jasotzen duzun

    • Eduki-biltegi garbitua eta aberastua
    • Edukien kalitate-txostena
    • Aurrerantzean gehitzen den edukirako arauak

  5. 05 Jendeak erabiltzen duen analitika eta BI

    Negozioak eta IKT sailak adostutako KPI definizioak dituen geruza semantikoa, autozerbitzu gobernatua, eta SaaS produktuetan eta atarietan txertatutako analitika.

    Zer egiten dugun

    • KPIak definitzeko tailerrak
    • Eredu semantikoa eta metrika-geruza
    • Autozerbitzurako mugak eta datu-multzo ziurtatuak
    • Bezeroentzako produktuetan txertatutako analitika

    Zer jasotzen duzun

    • KPI glosarioa, jabeekin
    • Eredu semantiko ziurtatua
    • Kalkulu-orriak ordezten dituzten panelak

  6. 06 Datu-jarioak eragiketetarako

    Aldaketen datu-kaptura eta gertaera-jarioak, erabakiek gaueko karga itxaron ezin dutenean: stock-mailak, espedienteen egoera, iruzur-seinaleak.

    Zer egiten dugun

    • Latentzia-eskakizunak erabilera-kasu bakoitzeko
    • CDC eragiketa-datu-baseetatik
    • Jario-prozesamendua eta ikuspegi materializatuak
    • Errepikapenaren eta atzera begirako kargaren diseinua

    Zer jasotzen duzun

    • Streaming-kanalizazioak produkzioan
    • Eragiketa-ikuspegiak, freskotasun-helburuekin
    • Errepikatzeko prozedura

03 Arkitektura

Erreferen­tziazko arkitektura argigarri bat

Datuak eragiketa-sistemetatik eta dokumentuetatik abiatzen dira, eta kargaren bidez geruzak dituen lakehouse batera iristen dira: lehenik, datu gordinak, jaso bezala; gero, bateratuak eta kalitatez egiaztatuak; azkenik, jabe eta kontratua dituzten datu-produktuak. Kontsumitzaileek ez dituzte inoiz datu gordinak irakurtzen.

Datu-produktuetatik bide batek geruza semantikoa eta BIa elikatzen ditu; beste batzuek AAren bilaketa eta ezaugarriak, eta beste sistemetarako datu-APIak. Gobernantza guztiaren azpian dago, eta plataformak aplikatzen du, ez politika-dokumentu batek.

Adibide argigarria

  1. Iturriak eta karga

    • Eragiketa-sistemak
    • Dokumentuak, OCR eta aberastearen ondoren
    • Lote-karga eta aldaketen kaptura

  2. Lakehouse

    • Geruza gordina
    • Geruza bateratua
    • Kalitate-egiaztapenak eta trazabilitatea
    • Datu maisuak eta erreferentzia-datuak
    • Datu-produktuak, kontratuekin

  3. Kontsumoa

    • Geruza semantikoa eta BI
    • AAren bilaketa eta ezaugarriak
    • Datu-APIak eta partekatzea

  4. Gobernantza

    • Gobernantza: katalogoa, sailkapena, sarbide-politikak, atxikipena
Lakehouse geruzak, jabea duten datu-produktuetara

Arkitektura argigarria, ez da bezero baten sistema.

Irakurri diagrama testu gisa

Bide nagusia eragiketa-sistemetatik abiatzen da, eta lote bidezko kargaren eta aldaketen datu-kapturaren, geruza gordinaren, geruza bateratuaren eta datu-produktuen bidez geruza semantikora eta BI gobernatura iristen da.

Egituratu gabeko dokumentuak ere kargaren bidez sartzen dira, OCRaren eta aberastearen ondoren. Kalitate-egiaztapenek eta trazabilitateak geruza gordina eta bateratua hartzen dituzte. Datu maisuek eta erreferentzia-datuek datu-produktuak elikatzen dituzte. Datu-produktuek AAren bilaketa eta ezaugarriak, eta partekatzeko datu-APIak ere hornitzen dituzte.

Gobernantza-banda batek plataforma osoa hartzen du: katalogoa, sailkapena, sarbide-politikak eta atxikipena.

04 Irizpideak eta mugak

Ingeniaritza-irizpideak eta mugak

  • Jabetza, tresnen aurretik

    Nola lantzen dugun

    Datu-produktu bakoitzak negozio-jabe bat du, zer esan nahi duen erabakitzen duena, eta jabe tekniko bat, martxan mantentzen duena. Bi rolak eta ekoizleen eta kontsumitzaileen arteko kontratua zehazten laguntzen dugu.

    Mugak eta mendekotasunak

    Plataforma batek ezin du jabetzarik sortu. Erakundeak jaberik izendatzen ez badu, kalitate-arazoak itzuli egingo dira, tresnak edozein direla ere.

  • Helburu-mugapena praktikan

    Nola lantzen dugun

    Datu pertsonalak erabil daitezkeen helburuekin etiketatzen dira, eta sarbide-politikek eta atxikipenak etiketa horiei jarraitzen diete automatikoki.

    Mugak eta mendekotasunak

    Zer helburu diren zilegi zure datuak babesteko ordezkariak (DBO) eta aholkulari juridikoak erabakitzen dute. Guk ezartzen dugu; ez dugu erabakitzen.

  • AArako datuek beren kalitate-maila dute

    Nola lantzen dugun

    AAren erabilera-kasuetan bilaketak eta ereduek behar dutena neurtzen dugu: estaldura, freskotasuna, bikoiztuak eta testu-erauzketaren kalitatea.

    Mugak eta mendekotasunak

    Artxibo batzuk ez dute konpontzea merezi. Laginetan oinarritutako ebaluazio batek esango dizu, eta batzuetan erantzun zuzena kanpoan uztea da.

05 Nola lan egiten dugun

Nola lan egiten dugun

Plataforma garrantzia duten lehen datu-produktuen inguruan eraikitzen dugu, ez alderantziz.

  1. 01

    Aukeratu erabakiak, ez datu-multzoak

    Abiapuntua bi edo hiru erabaki edo AA erabilera-kasu dira, behar dituzten datuekin eta jabeak izendatuta.

    EmaitzaDatu-produktuen zerrenda, jabeekin

  2. 02

    Eraiki oinarriak haien inguruan

    Plataforma, karga, kalitate-egiaztapenak eta gobernantza, produktu horiek behar bezala hornitzeko adina.

    EmaitzaLehen datu-produktuak produkzioan

  3. 03

    Hazi produktuz produktu

    Produktu berri bakoitzak oinarria berrerabiltzen du; katalogoa eta KPI glosarioa harekin batera hazten dira.

    EmaitzaProduktuen bide-orria eta erabilera-neurriak

06 Giza kontrola

Non erabakitzen duten pertsonek

Datu-plataformek datuen mugimendua eta egiaztapenak automatizatzen dituzte. Pertsonek erabakitzen dute esanahia, sarbidea eta helburua.

  • Jabeek onartzen dituzte definizioak

    KPI batek edo datu-produktu batek esanahia aldatzen du negozio-jabeak onartzen duenean bakarrik, eta aldaketa bertsionatu egiten da.

  • Politiken jabeek ematen dute sarbidea

    Datuen jabeek erabakitzen dute nork erabil ditzakeen zer datu eta zer helburutarako; plataformak betearazi egiten du, eta baimen bakoitza erregistratzen du.

  • Kalitate-hutsegiteek katea gelditzen dute

    Kontratu-egiaztapen batek huts egiten duenean, kontsumitzaileei jakinarazten zaie, eta jabeak erabakitzen du argitaratu, atxiki ala zuzendu.

07 Teknologiak

Erabiltzen ditugun teknologiak

Plataformak
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse irekia, Apache Iceberg edo Delta Lake gainean
Kanalizazioak
  • dbt
  • Apache Spark
  • Kafka eta Debezium
  • Hodeiko orkestrazio natiboa
Gobernantza
  • Unity Catalog eta Purview
  • Kode irekiko katalogoak
  • Datu-kalitaterako esparruak
  • Politiketan oinarritutako sarbide-kontrola
Analitika
  • Power BI
  • Geruza semantikoak eta metrika-geruzak
  • Txertatutako analitika
  • SAP analitika (lehendik dauden inguruneak)

Teknologia bat zerrendatzeak gure ingeniaritza-esperientzia deskribatzen du. Ez du esan nahi haren hornitzailearekin bazkidetzarik dugunik, ezta hornitzaileak gu babesten gaituenik ere.

08 Adibidea

Adibide argigarri bat

Adibide argigarria

Eragiketa-adierazle bateratuak, hainbat herrialdetan lantegiak dituen enpresa batentzat

01Egoera
Makina-erreminten fabrikatzaile batek lantegiak ditu Euskadin eta beste hiru herrialdetan. Lantegi bakoitzak bere sistematik eta bere definizioekin ematen ditu ekoizpena eta atzerapenak, eta zuzendaritzak esanahi bera ez duten zenbakiak alderatzen ditu.
02Zer eraikiko genukeen
Lantegi bakoitzeko datu-produktu bateratuak, geruza semantiko bakarra elikatzen dutenak. KPI definizioak enpresa-mailan adosten dira, eta tokiko xehetasuna gorde egiten da.
03Non erabakitzen duen pertsona batek
Lantegi bakoitzeko kontroladoreak onartzen du bere datuen mapaketa; enpresaren KPI jabeak onartzen ditu definizioak eta aldaketak.
04Zer neurtuko genukeen
Hileko txostena prestatzeko denbora, bateratze-zuzenketen kopurua eta panel ziurtatuen erabilera.

09 Sektoreka

Zure sektorean

  • Osasuna eta bizi-zientziak

    Ikerketa- eta eragiketa-datu gobernatuak, helburu-mugapen zorrotzarekin, pseudonimizazioarekin eta sarbideen erregistroarekin.

  • Fabrikazioa eta industria

    Produktuen eta aktiboen datu maisuak, eta kalitate- eta produkzio-datuak, plangintzarako, trazabilitaterako eta AArako lotuta.

  • Sektore publikoa

    Iturri autentikoak, datuen «behin bakarrik» erabilera, eta erabakitzaileek eta auditoreek erregistroraino jarraitu dezaketen txostenak.

Espainia

Bi agintaritza, datu-kontratu bakarra

Espainian, DBEOk eta 3/2018 Lege Organikoak (LOPDGDD) arautzen dituzte datu pertsonalak. Enpresa pribatuak Agencia Española de Protección de Datos (AEPD) agintaritzaren ikuskapenpean daude; euskal administrazio orokorra, foru-administrazioak, toki-administrazioak eta haien sektore publikoa, berriz, Datuak Babesteko Euskal Agintaritzaren eremuan daude (16/2023 Legea). Lege horren arabera, erakunde horiei zerbitzuak ematen dizkieten tratamenduaren eragileak ere legearen mende daude.

Datuei buruzko Erregelamenduak, gainera, eskubideak ematen dizkie erabiltzaileei produktu eta zerbitzu konektatuen datuen gainean. Datu-kontratuetan jasotzen dugu datuak non tratatu daitezkeen, zer helburutarako eta zenbat denboraz; horrela, plataformak arau egokia aplika dezake erakunde bakoitzerako, datuen kopia bereizirik gabe.

Datuei eta analitikari buruzko galderak

Data mesh bat behar dugu?

Haren zati erabilgarriak behar dituzu: jabe eta kontratudun datu-produktuak. Deszentralizazio osoak arloko talde helduak dituzten erakunde handietan ematen du emaitza. Erakunde askori hobeto doakie plataforma-talde zentral bat izatea, eta produktuen jabetza arloetan uztea.

Gure datuak AArako prest daude?

Erabilera-kasu batek behar dituen iturrien ebaluazio labur batek, laginetan oinarritua, esango dizu: estaldura, kalitatea, sarbide-eskubideak eta oinarri juridikoa. Erantzuna «partzialki» izan ohi da, lehenik zer konpondu behar den zerrenda argi batekin. Gure AA ingeniaritzako taldeek ebaluazio bera erabiltzen dute.

Dagoeneko datu-biltegi bat dugu. Hutsetik hasi behar dugu?

Oso gutxitan. Txosten fidagarriak ematen dituen datu-biltegia aktibo bat da. Normalean lakehouse gaitasunekin zabaltzen dugu, egituratu gabeko datuetarako eta bolumen handiko datuetarako, eta kostuak edo mugek justifikatzen dutenean bakarrik migratzen dugu.

Nola partekatzen dira datuak bazkideekin edo beste administrazio batzuekin?

API gobernatuen bidez eskainitako datu-produktuekin, akordioekin, helburu-mugapenarekin eta erregistroarekin. Datuen Gobernantzari buruzko Erregelamendua edo Datuei buruzko Erregelamendua aplikatzen direnean, kontrol teknikoak horien arabera diseinatzen ditugu.

Esan iezaguzu gaurko datuekin zer erabaki ezin duzun hartu

Behar duena iturrietaraino jarraituko dugu, eta lehen datu-produktu batek zer eskatuko lukeen erakutsiko dizugu.

Hitz egin dezagunDokumentuen tratamendua