Saltar ao contido principal
FromNine
Menú

IA e datos

Datos nos que poden confiar a IA e as decisións.

Construímos plataformas de datos nas que cada conxunto de datos ten un responsable, un contrato e unha calidade coñecida, para que a analítica, as operacións e a IA traballen coas mesmas cifras fiables.

Para empresas e organismos que necesitan unha visión fiable de datos repartidos entre entidades, centros e sistemas herdados.

Fálenos do seu proxectoCoñecemento corporativo
Datos e analítica: capas de capacidadeCatro capas superpostas en profundidade. De arriba abaixo: a analítica e a IA que consomen datos, os produtos de datos con responsable e contrato, as capas do lakehouse que limpan e homoxeneizan, e a gobernanza que o abarca todo.01Uso en analítica e IA02Produtos de datos e contratos03Capas do lakehouse04Gobernanza e liñaxe
  1. 01Produtos de datos con responsables designados, contratos e controis de calidade
  2. 02Gobernanza que aplica a limitación da finalidade e a conservación, non só un catálogo
  3. 03Un único conxunto de definicións de indicadores que asinan negocio e TI

01 Problemas

Problemas de datos coñecidos

A maioría dos proxectos de IA que decepcionan resultan ser proxectos de datos disfrazados.

  1. 01

    Tres informes, tres cifras distintas

    Finanzas, operacións e a dirección calculan cada unha á súa maneira a facturación ou o volume de expedientes. As reunións comezan conciliando cifras en vez de decidindo.

  2. 02

    Os datos non teñen responsable, así que ninguén os corrixe

    Os erros detéctanse ao final da cadea, corríxense nunha folla de cálculo e volven aparecer ao mes seguinte.

  3. 03

    O equipo de IA pasa a maior parte do tempo buscando datos

    Cada caso de uso comeza con semanas de solicitudes de acceso, extraccións e limpeza que o seguinte equipo volverá repetir.

  4. 04

    Os arquivos non serven para a IA

    Documentos dixitalizados cun OCR deficiente, duplicados e sen metadatos. A recuperación sobre eles devolve ruído.

02 Que entregamos

Que entregamos

  1. 01 Bases de datos para a IA e a analítica

    Arquitecturas lakehouse con modelado por capas, dos datos en bruto aos homoxeneizados e aos listos para o consumo, e produtos de datos que publican que conteñen, cando se actualizaron e quen responde por eles.

    Que facemos

    • Arquitectura da plataforma e elección dos formatos de almacenamento
    • Convencións de modelado por capas
    • Deseño de produtos de datos con contratos
    • Incorporación por lotes e por captura de cambios

    Que recibe

    • Plataforma lakehouse definida en código
    • Primeiros produtos de datos en produción
    • Modelo de contrato de datos e proceso de revisión

  2. 02 Calidade, liñaxe e datos mestres

    Controis de calidade automáticos en cada capa, liñaxe desde a orixe ata o informe, e datos mestres e de referencia para as entidades que importan: cidadanía, clientela, produtos e activos.

    Que facemos

    • Regras de calidade con limiares e alertas
    • Captura da liñaxe por columna
    • Regras de correspondencia e de prevalencia para os datos mestres
    • Xestión dos datos de referencia

    Que recibe

    • Panel de calidade por produto de datos
    • Liñaxe que se pode consultar
    • Rexistros mestres de referencia para as entidades prioritarias

  3. 03 Unha gobernanza que se aplica

    Un catálogo, unha clasificación e unhas políticas de acceso que a plataforma aplica de forma automática. A limitación da finalidade e a conservación que pide o RXPD quedan codificadas, e o intercambio de datos segue as regras do Regulamento de gobernanza de datos cando se aplica.

    Que facemos

    • Esquema de clasificación e etiquetaxe
    • Políticas de acceso baseadas en atributos
    • Automatización da conservación e do borrado
    • Acordos de intercambio de datos e controis técnicos

    Que recibe

    • Catálogo alimentado desde a plataforma
    • Políticas de acceso como código
    • Calendario de conservación en funcionamento

  4. 04 Contido non estruturado preparado para a IA

    Mellora da calidade do OCR, enriquecemento de metadatos, eliminación de duplicados e limpeza de arquivos, para que o procesamento de documentos e os sistemas de recuperación partan dun contido que pague a pena recuperar.

    Que facemos

    • Inventario de contidos e mostraxe da calidade
    • Melloras do OCR e da extracción da maquetación
    • Detección de case duplicados
    • Enriquecemento de metadatos e clasificación

    Que recibe

    • Repositorio de contidos limpo e enriquecido
    • Informe de calidade dos contidos
    • Regras para o contido que se engada a partir de agora

  5. 05 Analítica e BI que se usan

    Unha capa semántica con definicións de indicadores acordadas por negocio e TI, autoservizo gobernado e analítica integrada en produtos SaaS e portais.

    Que facemos

    • Obradoiros de definición de indicadores
    • Modelo semántico e capa de métricas
    • Límites para o autoservizo e conxuntos de datos certificados
    • Analítica integrada en produtos para a clientela

    Que recibe

    • Glosario de indicadores con responsables
    • Modelo semántico certificado
    • Paneis que substitúen as follas de cálculo

  6. 06 Streaming para uso operativo

    Captura de cambios e fluxos de eventos onde as decisións non poden agardar pola carga nocturna: niveis de stock, estado dos expedientes, sinais de fraude.

    Que facemos

    • Requisitos de latencia por caso de uso
    • CDC desde as bases de datos operativas
    • Procesamento de fluxos e vistas materializadas
    • Deseño da reprodución e da recarga histórica

    Que recibe

    • Fluxos de streaming en produción
    • Vistas operativas con obxectivos de actualización
    • Procedemento de reprodución

03 Arquitectura

Unha arquitectura de referencia ilustrativa

Os datos van dos sistemas operativos e dos documentos, a través da incorporación, a un lakehouse con capas: en bruto tal e como se reciben, despois homoxeneizados e con calidade comprobada, e finalmente produtos de datos cun responsable e un contrato. Os consumidores nunca len datos en bruto.

Desde os produtos de datos, unha ruta alimenta a capa semántica e o BI; outras alimentan a recuperación e as variables para a IA, e as API de datos para outros sistemas. A gobernanza está por debaixo de todo e aplícaa a plataforma, non un documento de políticas.

Exemplo ilustrativo

  1. Orixes e incorporación

    • Sistemas operativos
    • Documentos tras OCR e enriquecemento
    • Lotes e captura de cambios

  2. Lakehouse

    • Capa en bruto
    • Capa homoxeneizada
    • Controis de calidade e liñaxe
    • Datos mestres e de referencia
    • Produtos de datos con contratos

  3. Consumo

    • Capa semántica e BI
    • Recuperación e variables para a IA
    • API de datos e intercambio

  4. Gobernanza

    • Gobernanza: catálogo, clasificación, políticas de acceso, conservación
Do lakehouse por capas a produtos de datos con responsable

Arquitectura ilustrativa, non é o sistema dun cliente.

Ler o diagrama como texto

A ruta principal vai dos sistemas operativos á incorporación por lotes e por captura de cambios, a unha capa en bruto, a unha capa homoxeneizada e aos produtos de datos, e desde aí a unha capa semántica con BI gobernado.

Os documentos non estruturados tamén entran pola incorporación, despois do OCR e do enriquecemento. Os controis de calidade e a liñaxe cobren as capas en bruto e homoxeneizada. Os datos mestres e de referencia alimentan os produtos de datos. Os produtos de datos serven tamén á recuperación e ás variables para a IA, e ás API de datos para compartir.

Unha franxa de gobernanza con catálogo, clasificación, políticas de acceso e conservación percorre toda a plataforma.

04 Consideracións e límites

Consideracións técnicas e límites

  • Primeiro os responsables, despois as ferramentas

    Como o abordamos

    Cada produto de datos ten unha persoa responsable de negocio, que decide que significa, e unha persoa responsable técnica, que o mantén en funcionamento. Axudamos a definir os dous papeis e o contrato entre quen produce e quen consome.

    Límites e dependencias

    Unha plataforma non pode crear responsables. Se a organización non os designa, os problemas de calidade volverán, sexan cales sexan as ferramentas.

  • A limitación da finalidade na práctica

    Como o abordamos

    Os datos persoais etiquétanse coas finalidades ás que poden servir, e as políticas de acceso e a conservación seguen esas etiquetas de forma automática.

    Límites e dependencias

    Que finalidades son lícitas decídeo a súa persoa delegada de protección de datos coa súa asesoría legal. Nós aplicámolo; non o decidimos.

  • Os datos para IA teñen o seu propio nivel de calidade

    Como o abordamos

    Nos casos de uso de IA medimos o que necesitan a recuperación e os modelos: cobertura, actualización, duplicados e calidade da extracción de texto.

    Límites e dependencias

    Hai arquivos que non paga a pena arranxar. Unha avaliación por mostraxe dirao, e ás veces o correcto é deixalos fóra.

05 Como traballamos

Como traballamos

Construímos a plataforma arredor dos primeiros produtos de datos que importan, e non ao revés.

  1. 01

    Escoller decisións, non conxuntos de datos

    Partimos de dúas ou tres decisións ou casos de uso de IA e dos datos que necesitan, con responsables designados.

    ResultadoLista de produtos de datos con responsables

  2. 02

    Construír a base arredor deles

    Plataforma, incorporación, controis de calidade e gobernanza, só o necesario para servir ben eses produtos.

    ResultadoPrimeiros produtos de datos en produción

  3. 03

    Crecer produto a produto

    Cada produto novo reutiliza a base; o catálogo e o glosario de indicadores crecen con el.

    ResultadoFolla de ruta de produtos e medidas de adopción

06 Control humano

Onde as persoas manteñen o control

As plataformas de datos automatizan os movementos e as comprobacións. As persoas deciden o significado, o acceso e a finalidade.

  • Os responsables aproban as definicións

    Un indicador ou un produto de datos só cambia de significado cando o aproba a súa persoa responsable de negocio, e o cambio queda versionado.

  • O acceso concédeno os responsables das políticas

    As persoas responsables dos datos deciden quen pode usar que datos e para que finalidade; a plataforma aplícao e rexistra cada concesión.

  • Un incumprimento de calidade detén a cadea

    Cando falla unha comprobación do contrato, avísase a quen consome os datos e a persoa responsable decide se publicar, reter ou corrixir.

07 Tecnoloxías

Tecnoloxías coas que traballamos

Plataformas
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse aberto sobre Apache Iceberg ou Delta Lake
Fluxos de datos
  • dbt
  • Apache Spark
  • Kafka e Debezium
  • Orquestración nativa da nube
Gobernanza
  • Unity Catalog e Purview
  • Catálogos de código aberto
  • Marcos de calidade de datos
  • Control de acceso baseado en políticas
Analítica
  • Power BI
  • Capas semánticas e de métricas
  • Analítica integrada
  • Analítica de SAP (contornos existentes)

Mencionar unha tecnoloxía describe a nosa experiencia técnica. Non implica unha asociación co seu fabricante nin o seu respaldo.

08 Exemplo

Un exemplo ilustrativo

Exemplo ilustrativo

Uns mesmos indicadores para unha empresa familiar con plantas en varios países

01Situación
Cada planta informa da produción e dos pedidos pendentes desde o seu propio sistema e coas súas propias definicións. A dirección do grupo compara cifras que non significan o mesmo.
02Que construiriamos
Produtos de datos homoxeneizados por planta que alimentan unha única capa semántica, con definicións de indicadores acordadas para todo o grupo e o detalle local conservado.
03Onde deciden as persoas
A persoa responsable de control de xestión de cada planta aproba a correspondencia dos seus datos; a persoa responsable dos indicadores do grupo aproba as definicións e os seus cambios.
04Que mediriamos
Tempo para preparar o informe mensual, número de correccións por conciliación e uso dos paneis certificados.

09 Por sector

No seu sector

  • Saúde e ciencias da vida

    Datos de investigación e operativos gobernados, cunha limitación estrita da finalidade, pseudonimización e rexistro dos accesos.

  • Fabricación e industria

    Datos mestres de produtos e activos, de calidade e de produción, unidos para a planificación, a trazabilidade e a IA.

  • Sector público

    Fontes auténticas, datos solicitados unha soa vez e informes que as persoas responsables de políticas e de auditoría poden seguir ata o rexistro de orixe.

España

Datos persoais con regras europeas e españolas

En España, o RXPD aplícase xunto coa LOPDGDD, que o adapta e o completa. Galicia non ten autoridade autonómica de protección de datos, así que a Axencia Española de Protección de Datos (AEPD) é a autoridade competente para todo o tratamento en Galicia, tanto público como privado. O Regulamento de datos dálles ás persoas usuarias dereitos sobre os datos dos produtos e servizos conectados.

Deseñamos produtos de datos cuxos contratos indican onde se poden tratar os datos, para que finalidades e durante canto tempo, de xeito que a plataforma aplique a regra que corresponde a cada entidade sen copias separadas dos datos.

Preguntas sobre datos e analítica

Necesitamos unha data mesh?

Necesita a parte útil dela: produtos de datos con responsable e contrato. A descentralización completa compensa en organizacións grandes con equipos de dominio maduros. A moitas organizacións vailles mellor cun equipo central de plataforma e responsables dos produtos en cada dominio.

Están os nosos datos preparados para a IA?

Unha avaliación breve, por mostraxe, das fontes que necesita un caso de uso permite sabelo: cobertura, calidade, permisos de acceso e base xurídica. A resposta adoita ser «en parte», cunha lista clara do que hai que arranxar primeiro. Os nosos equipos de enxeñaría de IA usan a mesma avaliación.

Xa temos un data warehouse. Temos que comezar de novo?

Poucas veces. Un data warehouse que produce informes fiables é un activo. Normalmente ampliámolo con capacidades de lakehouse para os datos non estruturados e de gran volume, e só migramos onde o custo ou os límites o xustifican.

Como xestionan o intercambio de datos con socios ou con outras administracións?

A través de produtos de datos expostos mediante API gobernadas, con acordos, limitación da finalidade e rexistro. Cando se aplican o Regulamento de gobernanza de datos ou o Regulamento de datos, deseñamos os controis técnicos de acordo con eles.

Diga que decisión non pode tomar cos datos de hoxe

Seguiremos o que necesita ata as fontes e mostrarémoslle que levaría un primeiro produto de datos.

Fálenos do seu proxectoProcesamento de documentos