Aneu al contingut principal
FromNine
Menú

IA i dades

Dades en què la IA i les decisions poden confiar.

Construïm plataformes de dades en què cada conjunt de dades té una persona responsable, un contracte i una qualitat coneguda, perquè l’analítica, les operacions i la IA treballin amb les mateixes xifres fiables.

Per a organitzacions que necessiten una visió fiable de dades repartides entre països, societats i sistemes heretats.

Parlem del vostre projecteConeixement corporatiu
Dades i analítica: capes de capacitatsQuatre capes apilades en profunditat. De dalt a baix: l’analítica i la IA que consumeixen les dades, els productes de dades amb responsable i contracte, les capes del lakehouse que depuren i harmonitzen, i la governança que ho cobreix tot.01Ús per a analítica i IA02Productes de dades i contractes03Capes del lakehouse04Governança i llinatge
  1. 01Productes de dades amb responsables designats, contractes i controls de qualitat
  2. 02Una governança que aplica la limitació de la finalitat i la conservació, no només un catàleg
  3. 03Un sol joc de definicions d’indicadors que signen tant el negoci com TI

01 Problemes

Problemes de dades coneguts

La majoria de projectes d’IA que decepcionen resulten ser projectes de dades disfressats.

  1. 01

    Tres informes, tres xifres diferents

    Finances, operacions i la direcció calculen cadascú a la seva manera la facturació o el volum d’expedients. Les reunions comencen conciliant xifres en lloc de decidir.

  2. 02

    Les dades no són de ningú, i ningú no les corregeix

    Els errors es detecten més avall, es corregeixen en un full de càlcul i tornen a aparèixer el mes següent.

  3. 03

    L’equip d’IA passa la major part del temps buscant dades

    Cada cas d’ús comença amb setmanes de peticions d’accés, extraccions i neteja que el següent equip tornarà a fer.

  4. 04

    Els arxius no serveixen per a la IA

    Documents escanejats amb un reconeixement de text deficient, duplicats i sense metadades. La recuperació sobre aquest material només torna soroll.

02 Què lliurem

Què lliurem

  1. 01 Bases de dades per a la IA i l’analítica

    Arquitectures lakehouse amb modelatge per capes, de les dades en brut a les harmonitzades i a les de consum, i productes de dades que publiquen què contenen, com d’actualitzats estan i qui en respon.

    Què fem

    • Arquitectura de la plataforma i elecció dels formats d’emmagatzematge
    • Convencions de modelatge per capes
    • Disseny de productes de dades amb contractes
    • Ingesta per lots i amb captura de canvis

    Què rebeu

    • Plataforma lakehouse definida com a codi
    • Primers productes de dades en producció
    • Plantilla de contracte de dades i procés de revisió

  2. 02 Qualitat, llinatge i dades mestres

    Controls de qualitat automatitzats a cada capa, llinatge de la font a l’informe i dades mestres i de referència per a les entitats que importen: ciutadania, clients, productes i actius.

    Què fem

    • Regles de qualitat amb llindars i alertes
    • Captura del llinatge per columna
    • Regles de correspondència i de prevalença de dades mestres
    • Gestió de dades de referència

    Què rebeu

    • Quadre de comandament de qualitat per producte de dades
    • Llinatge que es pot consultar
    • Registres de referència per a les entitats prioritàries

  3. 03 Una governança que s’aplica

    Un catàleg, una classificació i unes polítiques d’accés que la plataforma aplica automàticament. La limitació de la finalitat i la conservació de l’RGPD queden codificades, i la compartició de dades segueix les regles del Reglament de governança de dades quan s’hi aplica.

    Què fem

    • Esquema de classificació i etiquetatge
    • Polítiques d’accés basades en atributs
    • Automatització de la conservació i la supressió
    • Acords de compartició de dades i controls tècnics

    Què rebeu

    • Catàleg alimentat des de la plataforma
    • Polítiques d’accés com a codi
    • Calendari de conservació en funcionament

  4. 04 Contingut no estructurat preparat per a la IA

    Millora del reconeixement de text, enriquiment de metadades, eliminació de duplicats i neteja d’arxius, perquè el processament de documents i els sistemes de recuperació partin d’un contingut que valgui la pena recuperar.

    Què fem

    • Inventari de continguts i mostreig de qualitat
    • Millores del reconeixement de text i de l’extracció de la maquetació
    • Detecció de quasi duplicats
    • Enriquiment de metadades i classificació

    Què rebeu

    • Repositori de continguts net i enriquit
    • Informe de qualitat dels continguts
    • Regles per al contingut que s’afegeixi d’ara endavant

  5. 05 Analítica i BI que les persones fan servir

    Una capa semàntica amb definicions d’indicadors acordades entre el negoci i TI, autoservei amb governança i analítica integrada dins de productes SaaS i portals.

    Què fem

    • Tallers de definició d’indicadors
    • Model semàntic i capa de mètriques
    • Límits per a l’autoservei i conjunts de dades certificats
    • Analítica integrada en productes per a clients

    Què rebeu

    • Glossari d’indicadors amb responsables
    • Model semàntic certificat
    • Quadres de comandament que substitueixen els fulls de càlcul

  6. 06 Dades en temps real per a l’operació

    Captura de canvis i fluxos d’esdeveniments on les decisions no poden esperar la càrrega nocturna: estocs, estat dels expedients, senyals de frau.

    Què fem

    • Requisits de latència per cas d’ús
    • Captura de canvis des de les bases de dades operatives
    • Processament de fluxos i vistes materialitzades
    • Disseny de la reproducció i la recàrrega

    Què rebeu

    • Fluxos de dades en temps real en producció
    • Vistes operatives amb objectius d’actualització
    • Procediment de reproducció

03 Arquitectura

Una arquitectura de referència il·lustrativa

Les dades passen dels sistemes operatius i dels documents, a través de la ingesta, a un lakehouse per capes: en brut tal com arriben, després harmonitzades i amb la qualitat comprovada, i finalment productes de dades amb una persona responsable i un contracte. Els consumidors no llegeixen mai dades en brut.

Dels productes de dades, un recorregut alimenta la capa semàntica i la BI; d’altres alimenten la recuperació i les variables per a la IA, i les API de dades per a altres sistemes. La governança és a sota de tot i l’aplica la plataforma, no un document de política.

Exemple il·lustratiu

  1. Fonts i ingesta

    • Sistemes operatius
    • Documents després de l’OCR i l’enriquiment
    • Ingesta per lots i captura de canvis

  2. Lakehouse

    • Capa en brut
    • Capa harmonitzada
    • Controls de qualitat i llinatge
    • Dades mestres i de referència
    • Productes de dades amb contracte

  3. Consum

    • Capa semàntica i BI
    • Recuperació i variables per a la IA
    • API de dades i compartició

  4. Governança

    • Governança: catàleg, classificació, polítiques d’accés, conservació
De les capes del lakehouse als productes de dades amb responsable

Arquitectura il·lustrativa, no el sistema d’un client.

Llegiu el diagrama en format de text

El recorregut principal va dels sistemes operatius a la ingesta per lots i amb captura de canvis, una capa en brut, una capa harmonitzada i els productes de dades, fins a una capa semàntica amb BI governada.

Els documents no estructurats també entren per la ingesta després del reconeixement de text i l’enriquiment. Els controls de qualitat i el llinatge cobreixen les capes en brut i harmonitzada. Les dades mestres i de referència alimenten els productes de dades. Els productes de dades també serveixen la recuperació i les variables per a la IA, i les API de dades per compartir-les.

Una franja de governança amb catàleg, classificació, polítiques d’accés i conservació cobreix tota la plataforma.

04 Consideracions i límits

Consideracions d’enginyeria i límits

  • Primer la responsabilitat, després les eines

    Com ho abordem

    Cada producte de dades té una persona responsable de negoci que decideix què significa i una persona responsable tècnica que el manté en funcionament. Us ajudem a definir tots dos rols i el contracte entre qui produeix les dades i qui les consumeix.

    Límits i dependències

    Una plataforma no pot crear responsabilitat. Si l’organització no designa responsables, els problemes de qualitat tornaran, sigui quina sigui l’eina.

  • La limitació de la finalitat a la pràctica

    Com ho abordem

    Les dades personals s’etiqueten amb les finalitats a què poden servir, i les polítiques d’accés i de conservació segueixen aquestes etiquetes automàticament.

    Límits i dependències

    Quines finalitats són lícites ho decideixen la persona delegada de protecció de dades i els vostres assessors. Nosaltres ho implantem; no ho decidim.

  • Les dades per a la IA tenen el seu propi nivell de qualitat

    Com ho abordem

    Per als casos d’ús d’IA mesurem el que necessiten la recuperació i els models: cobertura, actualització, duplicats i qualitat de l’extracció de text.

    Límits i dependències

    Alguns arxius no val la pena arreglar-los. Una avaluació per mostreig us ho dirà, i de vegades la resposta correcta és deixar-los fora.

05 Com treballem

Com treballem

Construïm la plataforma al voltant dels primers productes de dades que importen, no a l’inrevés.

  1. 01

    Triar decisions, no conjunts de dades

    Comencem per dues o tres decisions o casos d’ús d’IA i les dades que necessiten, amb les persones responsables designades.

    ResultatLlista de productes de dades amb responsables

  2. 02

    Construir les bases al seu voltant

    Plataforma, ingesta, controls de qualitat i governança, el just per servir bé aquests productes.

    ResultatPrimers productes de dades en producció

  3. 03

    Créixer producte a producte

    Cada producte nou reutilitza la base; el catàleg i el glossari d’indicadors creixen amb ell.

    ResultatFull de ruta de productes i mesures d’adopció

06 Control humà

On les persones mantenen el control

Les plataformes de dades automatitzen els moviments i els controls. Les persones decideixen el significat, l’accés i la finalitat.

  • Les persones responsables aproven les definicions

    Un indicador o un producte de dades només canvia de significat quan ho aprova la persona responsable de negoci, i el canvi queda versionat.

  • L’accés el concedeixen les persones responsables de la política

    Les persones responsables de les dades decideixen qui pot fer servir quines dades i per a quina finalitat; la plataforma ho aplica i registra cada autorització.

  • Un incompliment de qualitat atura la cadena

    Quan falla una comprovació del contracte, s’avisa els consumidors i la persona responsable decideix si es publica, es reté o es corregeix.

07 Tecnologies

Tecnologies amb què treballem

Plataformes
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse obert amb Apache Iceberg o Delta Lake
Fluxos de dades
  • dbt
  • Apache Spark
  • Kafka i Debezium
  • Orquestració nativa del núvol
Governança
  • Unity Catalog i Purview
  • Catàlegs de codi obert
  • Marcs de qualitat de dades
  • Control d’accés basat en polítiques
Analítica
  • Power BI
  • Capes semàntiques i de mètriques
  • Analítica integrada
  • Analítica de SAP (entorns existents)

Esmentar una tecnologia descriu la nostra experiència d’enginyeria. No implica cap acord de col·laboració amb el fabricant ni cap aval per part seva.

08 Exemple

Un exemple il·lustratiu

Exemple il·lustratiu

Un sol joc d’indicadors per a una empresa familiar amb filials a diversos països

01Situació
Cada filial informa de vendes, marges i comandes pendents des del seu propi ERP i amb les seves pròpies definicions. La direcció del grup compara xifres que no volen dir el mateix.
02Què construiríem
Productes de dades harmonitzats per a cada filial que alimenten una sola capa semàntica, amb definicions d’indicadors acordades per al conjunt del grup i el detall local conservat.
03On decideix una persona
La persona responsable del control de gestió de cada filial aprova la correspondència de les seves dades; la persona responsable dels indicadors del grup aprova les definicions i els canvis.
04Què mesuraríem
Temps per elaborar l’informe mensual, nombre de correccions de conciliació i ús dels quadres de comandament certificats.

09 Per sectors

En el vostre sector

  • Salut i ciències de la vida

    Dades de recerca i operatives governades, amb una limitació estricta de la finalitat, pseudonimització i registre dels accessos.

  • Indústria i fabricació

    Dades mestres de productes i actius, de qualitat i de producció connectades per a la planificació, la traçabilitat i la IA.

  • Sector públic

    Fonts autèntiques, principi d’una sola vegada i informes que les persones que decideixen les polítiques i les que auditen poden seguir fins al registre d’origen.

Espanya

Dades que travessen fronteres

Els grups i els organismes públics que treballen en diversos estats membres comparteixen dades amb regles que s’assemblen però no són iguals. L’RGPD fixa un marc únic per a les dades personals, el Reglament de dades dona drets a les persones usuàries sobre les dades dels productes i serveis connectats, i les interpretacions nacionals sobre conservació i finalitat continuen sent diferents.

A Espanya, la Llei orgànica 3/2018 (LOPDGDD) adapta i completa l’RGPD. L’Agència Espanyola de Protecció de Dades (AEPD) és l’autoritat de les empreses privades i del sector públic estatal, i l’Autoritat Catalana de Protecció de Dades (APDCAT), per als tractaments del sector públic català. Per a l’intercanvi de dades entre administracions, s’hi afegeix l’Esquema Nacional d’Interoperabilitat (ENI).

Dissenyem productes de dades amb contractes que diuen on es poden tractar les dades, per a quines finalitats i durant quant de temps, perquè la plataforma pugui aplicar la regla de cada país sense còpies separades de les dades.

Preguntes sobre dades i analítica

Necessitem un data mesh?

Necessiteu la part útil: productes de dades amb responsables i contractes. La descentralització completa surt a compte en organitzacions grans amb equips de domini madurs. Moltes organitzacions funcionen millor amb un equip central de plataforma i la responsabilitat dels productes als dominis.

Les nostres dades estan preparades per a la IA?

Una avaluació breu i per mostreig de les fonts que necessita un cas d’ús us ho dirà: cobertura, qualitat, drets d’accés i base jurídica. La resposta sol ser «en part», amb una llista clara del que cal arreglar primer. Els nostres equips d’enginyeria d’IA fan servir la mateixa avaluació.

Ja tenim un magatzem de dades. Hem de començar de nou?

Poques vegades. Un magatzem de dades que alimenta informes fiables és un actiu. Normalment l’ampliem amb capacitats de lakehouse per a dades no estructurades i de gran volum, i només migrem quan el cost o els límits ho justifiquen.

Com gestioneu la compartició de dades amb socis o amb altres administracions?

Amb productes de dades exposats a través d’API governades, amb acords, limitació de la finalitat i registre. Quan s’apliquen el Reglament de governança de dades o el Reglament de dades, dissenyem els controls tècnics que hi corresponen. Entre administracions espanyoles, hi tenim en compte també l’Esquema Nacional d’Interoperabilitat.

Digueu-nos quina decisió no podeu prendre amb les dades d’avui

En seguirem les necessitats fins a les fonts i us mostrarem què demanaria un primer producte de dades.

Parlem del vostre projecteProcessament de documents