Saltar para o conteúdo principal
FromNine
Menu

IA e dados

Dados em que a IA e as decisões podem confiar.

Construímos plataformas de dados em que cada conjunto de dados tem um responsável, um contrato e uma qualidade conhecida, para que a analítica, a operação e a IA usem os mesmos números fiáveis.

Para organizações que precisam de uma visão fiável de dados espalhados por países, empresas do grupo e sistemas legados.

Fale-nos do seu projetoVer acesso ao conhecimento
Dados e analítica: camadas de capacidadesQuatro camadas sobrepostas em profundidade. De cima para baixo: a analítica e a IA que consomem os dados, os produtos de dados com responsáveis e contratos, as camadas do lakehouse que limpam e harmonizam, e a governação que abrange tudo.01Uso em analítica e IA02Produtos de dados e contratos03Camadas do lakehouse04Governação e linhagem
  1. 01Produtos de dados com responsáveis identificados, contratos e verificações de qualidade
  2. 02Uma governação que codifica a limitação da finalidade e a conservação, e não apenas um catálogo
  3. 03Um só conjunto de definições de indicadores, aprovado pelo negócio e pelas TI

01 Problemas

Problemas de dados conhecidos

A maioria dos projetos de IA que desiludem acaba por ser um projeto de dados disfarçado.

  1. 01

    Três relatórios, três números diferentes

    A área financeira, a operação e a administração calculam o volume de negócios ou a carga de processos cada uma à sua maneira. As reuniões começam por conciliar números em vez de decidir.

  2. 02

    Ninguém é responsável pelos dados, por isso ninguém os corrige

    Os erros são detetados a jusante, corrigidos numa folha de cálculo e voltam no mês seguinte.

  3. 03

    A equipa de IA passa a maior parte do tempo à procura de dados

    Cada caso de uso começa com semanas de pedidos de acesso, extrações e limpezas que a equipa seguinte vai repetir.

  4. 04

    Os arquivos não servem para IA

    Documentos digitalizados com OCR fraco, duplicados e sem metadados. A pesquisa sobre eles devolve ruído.

02 O que entregamos

O que entregamos

  1. 01 Fundações de dados para IA e analítica

    Arquiteturas lakehouse com modelação por camadas, dos dados em bruto aos harmonizados e aos de consumo, e produtos de dados que publicam o que contêm, quão atualizados estão e quem responde por eles.

    O que fazemos

    • Arquitetura da plataforma e escolha dos formatos de armazenamento
    • Convenções de modelação por camadas
    • Conceção de produtos de dados com contratos
    • Ingestão por lotes e por captura de alterações

    O que recebe

    • Plataforma lakehouse definida em código
    • Primeiros produtos de dados em produção
    • Modelo de contrato de dados e processo de revisão

  2. 02 Qualidade, linhagem e dados mestre

    Verificações automáticas de qualidade em cada camada, linhagem da fonte ao relatório, e dados mestre e de referência para as entidades que importam: cidadãos, clientes, produtos e ativos.

    O que fazemos

    • Regras de qualidade com limiares e alertas
    • Registo da linhagem ao nível da coluna
    • Regras de correspondência e consolidação de dados mestre
    • Gestão de dados de referência

    O que recebe

    • Painel de qualidade por produto de dados
    • Linhagem que se pode consultar
    • Registos de referência para as entidades prioritárias

  3. 03 Uma governação que se aplica

    Um catálogo, uma classificação e políticas de acesso que a plataforma aplica automaticamente. A limitação da finalidade e a conservação previstas no RGPD ficam codificadas, e a partilha de dados segue as regras do Regulamento Governação de Dados quando este se aplica.

    O que fazemos

    • Esquema de classificação e etiquetagem
    • Políticas de acesso baseadas em atributos
    • Automatização da conservação e da eliminação
    • Acordos de partilha de dados e controlos técnicos

    O que recebe

    • Catálogo alimentado a partir da plataforma
    • Políticas de acesso como código
    • Plano de conservação em funcionamento

  4. 04 Conteúdo não estruturado preparado para a IA

    Melhoria da qualidade do OCR, enriquecimento de metadados, eliminação de duplicados e limpeza de arquivos, para que o processamento inteligente de documentos e os sistemas de pesquisa partam de conteúdo que valha a pena encontrar.

    O que fazemos

    • Inventário de conteúdos e amostragem da qualidade
    • Melhorias no OCR e na extração da paginação
    • Deteção de quase duplicados
    • Enriquecimento de metadados e classificação

    O que recebe

    • Repositório de conteúdos limpo e enriquecido
    • Relatório de qualidade dos conteúdos
    • Regras para os conteúdos acrescentados daqui em diante

  5. 05 Analítica e BI que as pessoas usam

    Uma camada semântica com definições de indicadores acordadas entre o negócio e as TI, autosserviço com regras e analítica integrada em produtos SaaS e portais.

    O que fazemos

    • Sessões de trabalho para definir os indicadores
    • Modelo semântico e camada de métricas
    • Regras para o autosserviço e conjuntos de dados certificados
    • Analítica integrada em produtos para clientes

    O que recebe

    • Glossário de indicadores com responsáveis
    • Modelo semântico certificado
    • Painéis que substituem folhas de cálculo

  6. 06 Streaming para uso operacional

    Captura de alterações e fluxos de eventos onde as decisões não podem esperar pela carga noturna: níveis de stock, estado dos processos, sinais de fraude.

    O que fazemos

    • Requisitos de latência por caso de uso
    • CDC a partir das bases de dados operacionais
    • Processamento de fluxos e vistas materializadas
    • Conceção da reprodução e do preenchimento retroativo

    O que recebe

    • Pipelines de streaming em produção
    • Vistas operacionais com objetivos de atualidade
    • Procedimento de reprodução

03 Arquitetura

Uma arquitetura de referência ilustrativa

Os dados saem dos sistemas operacionais e dos documentos e passam, pela ingestão, para um lakehouse por camadas: em bruto, tal como recebidos; depois harmonizados e com a qualidade verificada; depois produtos de dados com um responsável e um contrato. Quem consome nunca lê dados em bruto.

A partir dos produtos de dados, um percurso alimenta a camada semântica e o BI; outros alimentam a pesquisa e as variáveis para IA, e APIs de dados para outros sistemas. A governação está por baixo de tudo e é aplicada pela plataforma, não por um documento de política.

Exemplo ilustrativo

  1. Fontes e ingestão

    • Sistemas operacionais
    • Documentos após OCR e enriquecimento
    • Lotes e captura de alterações

  2. Lakehouse

    • Camada em bruto
    • Camada harmonizada
    • Qualidade e linhagem
    • Dados mestre e de referência
    • Produtos de dados com contratos

  3. Consumo

    • Camada semântica e BI
    • Pesquisa e variáveis para IA
    • APIs de dados e partilha

  4. Governação

    • Governação: catálogo, classificação, políticas de acesso, conservação
Camadas do lakehouse até produtos de dados com responsável

Arquitetura ilustrativa, não corresponde a um sistema de um cliente.

Ler o diagrama em texto

O percurso principal vai dos sistemas operacionais, através da ingestão por lotes e por captura de alterações, de uma camada em bruto, de uma camada harmonizada e dos produtos de dados, até uma camada semântica com BI governado.

Os documentos não estruturados também entram pela ingestão, depois de OCR e enriquecimento. As verificações de qualidade e a linhagem cobrem as camadas em bruto e harmonizada. Os dados mestre e de referência alimentam os produtos de dados. Os produtos de dados servem também a pesquisa e as variáveis para IA, e APIs de dados para partilha.

Uma faixa de governação com catálogo, classificação, políticas de acesso e conservação abrange toda a plataforma.

04 Considerações e limites

Considerações de engenharia e limites

  • Responsáveis antes de ferramentas

    Como o tratamos

    Cada produto de dados tem um responsável de negócio, que decide o que significa, e um responsável técnico, que o mantém a funcionar. Ajudamos a definir os dois papéis e o contrato entre quem produz e quem consome.

    Limites e dependências

    Uma plataforma não cria responsáveis. Se a organização não os designar, os problemas de qualidade voltam, sejam quais forem as ferramentas.

  • A limitação da finalidade na prática

    Como o tratamos

    Os dados pessoais são etiquetados com as finalidades a que podem servir, e as políticas de acesso e a conservação seguem essas etiquetas automaticamente.

    Limites e dependências

    Que finalidades são lícitas é uma decisão do seu encarregado da proteção de dados e dos seus assessores jurídicos. Nós implementamos; não decidimos.

  • Os dados para IA têm a sua própria exigência de qualidade

    Como o tratamos

    Nos casos de uso de IA medimos o que a pesquisa e os modelos precisam: cobertura, atualidade, duplicados e qualidade da extração de texto.

    Limites e dependências

    Há arquivos que não vale a pena corrigir. Uma avaliação por amostragem dá a resposta, e por vezes o certo é deixá-los de fora.

05 Como trabalhamos

Como trabalhamos

Construímos a plataforma à volta dos primeiros produtos de dados que importam, e não o contrário.

  1. 01

    Escolher decisões, não conjuntos de dados

    Partir de duas ou três decisões ou casos de uso de IA e dos dados de que precisam, com os responsáveis identificados.

    ResultadoLista de produtos de dados com responsáveis

  2. 02

    Construir a base à volta deles

    Plataforma, ingestão, verificações de qualidade e governação, apenas o necessário para servir bem esses produtos.

    ResultadoPrimeiros produtos de dados em produção

  3. 03

    Crescer produto a produto

    Cada novo produto reutiliza a base; o catálogo e o glossário de indicadores crescem com ele.

    ResultadoRoadmap de produtos e medidas de adoção

06 Controlo humano

Onde as pessoas mantêm o controlo

As plataformas de dados automatizam a movimentação e as verificações. As pessoas decidem o significado, o acesso e a finalidade.

  • Os responsáveis aprovam as definições

    Um indicador ou produto de dados só muda de significado com a aprovação do seu responsável de negócio, e a alteração fica versionada.

  • O acesso é concedido por quem é responsável pela política

    Os responsáveis pelos dados decidem quem pode usar que dados e para que finalidade; a plataforma aplica a decisão e regista cada autorização.

  • Uma falha de qualidade para a linha

    Quando uma verificação do contrato falha, quem consome é avisado e o responsável decide se publica, retém ou corrige.

07 Tecnologias

Tecnologias com que trabalhamos

Plataformas
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse aberto com Apache Iceberg ou Delta Lake
Pipelines
  • dbt
  • Apache Spark
  • Kafka e Debezium
  • Orquestração nativa da cloud
Governação
  • Unity Catalog e Purview
  • Catálogos de código aberto
  • Frameworks de qualidade de dados
  • Controlo de acesso baseado em políticas
Analítica
  • Power BI
  • Camadas semânticas e de métricas
  • Analítica integrada
  • SAP analytics (ambientes existentes)

A referência a uma tecnologia descreve a nossa experiência de engenharia. Não implica uma parceria com o respetivo fabricante nem o seu aval.

08 Exemplo

Um exemplo ilustrativo

Exemplo ilustrativo

Os mesmos indicadores para um grupo familiar com empresas em Portugal e em Espanha

01Situação
Cada empresa do grupo reporta produção, encomendas em carteira e margens a partir do seu próprio ERP, com as suas próprias definições. A administração compara números que não querem dizer a mesma coisa.
02O que construiríamos
Produtos de dados harmonizados por empresa, que alimentam uma camada semântica com definições de indicadores acordadas ao nível do grupo, mantendo o detalhe local.
03Onde as pessoas decidem
O controller de cada empresa aprova o mapeamento dos seus dados; o responsável pelos indicadores do grupo aprova as definições e as alterações.
04O que mediríamos
Tempo para produzir o relatório mensal, número de correções de conciliação e utilização dos painéis certificados.

09 Por setor

No seu setor

  • Saúde e ciências da vida

    Dados de investigação e operacionais governados, com limitação estrita da finalidade, pseudonimização e registo dos acessos, no quadro do RGPD e da Lei n.º 58/2019.

  • Indústria transformadora

    Dados mestre de produtos e ativos, dados de qualidade e de produção ligados entre si para planeamento, rastreabilidade e IA.

  • Administração pública

    Fontes autênticas, o princípio da declaração única, dados abertos prontos para o dados.gov.pt e relatórios que decisores e auditores conseguem rastrear até ao registo de origem.

Portugal

Dados que atravessam fronteiras

Grupos com empresas em Portugal e em Espanha, e entidades públicas que trocam dados com outros Estados-Membros, partilham dados ao abrigo de regras parecidas mas não iguais. O RGPD define um quadro único para os dados pessoais, o Regulamento dos Dados dá aos utilizadores direitos sobre os dados de produtos e serviços conectados, e as interpretações nacionais sobre conservação e finalidade continuam a variar.

Em Portugal, a Lei n.º 58/2019 assegura a execução do RGPD na ordem jurídica nacional e a Comissão Nacional de Proteção de Dados (CNPD) é a autoridade de controlo. Concebemos produtos de dados cujos contratos dizem onde os dados podem ser tratados, para que finalidades e durante quanto tempo, para que a plataforma aplique a regra certa a cada país sem cópias separadas dos dados.

Perguntas sobre dados e analítica

Precisamos de um data mesh?

Precisa das partes úteis: produtos de dados com responsáveis e contratos. A descentralização total compensa em grandes organizações com equipas de domínio maduras. Muitas organizações saem-se melhor com uma equipa central de plataforma e a responsabilidade pelos produtos nos domínios.

Os nossos dados estão prontos para a IA?

Uma avaliação curta, por amostragem, das fontes de que um caso de uso precisa dá a resposta: cobertura, qualidade, permissões de acesso e fundamento jurídico. A resposta costuma ser «em parte», com uma lista clara do que corrigir primeiro. As nossas equipas de engenharia de IA usam a mesma avaliação.

Já temos um data warehouse. Temos de começar de novo?

Raramente. Um data warehouse que alimenta relatórios fiáveis é um ativo. Normalmente alargamo-lo com capacidades de lakehouse para dados não estruturados e de grande volume, e só migramos quando o custo ou os limites o justificam.

Como tratam a partilha de dados com parceiros ou com outras entidades públicas?

Através de produtos de dados expostos por APIs governadas, com acordos, limitação da finalidade e registo de acessos. Quando se aplicam o Regulamento Governação de Dados ou o Regulamento dos Dados, concebemos os controlos técnicos em conformidade.

Diga-nos que decisão não consegue tomar com os dados de hoje

Seguimos o que essa decisão exige até às fontes e mostramos o que implicaria um primeiro produto de dados.

Fale-nos do seu projetoVer processamento de documentos