Saltar ao contido principal
FromNine
Menú

IA e datos

IA xenerativa que aguanta en produción.

Construímos aplicacións de IA xenerativa sobre o seu propio coñecemento e os seus datos, cunha recuperación que respecta os permisos, unha avaliación que condiciona cada versión e un custo, unha calidade e unha latencia que se poden ver.

Para organizacións que queren IA xenerativa en produción, en galego e en castelán, coa calidade medida e documentada.

Fálenos do seu proxectoCoñecemento corporativo
Enxeñaría de IA e IA xenerativa: capas de capacidadeCatro capas superpostas en profundidade. De arriba abaixo: a recuperación sobre as súas fontes, a pasarela de modelos, a avaliación e as salvagardas, e a aplicación coa que traballan as persoas usuarias. Unha mesma ruta vai das fontes á aplicación.01Recuperación sobre as súas fontes02Pasarela e enrutamento de modelos03Avaliación e salvagardas04Aplicación en produción
  1. 01Respostas que citan as súas fontes e que se absteñen cando falta a evidencia
  2. 02Un conxunto de probas de referencia e uns controis de regresión acordados cos seus equipos antes da posta en produción
  3. 03Enrutamento de modelos e orzamentos que deixan á vista o custo e a latencia de cada petición

01 Problemas

Onde se atasca a IA xenerativa

O modelo raramente é a parte difícil. O que frea a maioría dos programas é todo o que o rodea.

  1. 01

    O piloto impresionou, e despois ninguén soubo dicir se era bo

    A calidade xulgárona unhas poucas persoas probando unhas poucas preguntas. Non hai conxunto de probas, así que cada cambio de instrucións ou de modelo é unha aposta.

  2. 02

    O asistente mostra documentos que a persoa non debería ver

    O contido indexouse sen os seus permisos de acceso. O equipo de seguridade e o comité de empresa paran a implantación, e fan ben.

  3. 03

    Os custos medran máis rápido ca o uso

    Cada petición vai ao modelo máis grande co contexto máis longo. Ninguén sabe canto custa unha resposta, así que ninguén o pode xestionar.

  4. 04

    As respostas parecen correctas e non o son

    A recuperación devolve fragmentos que case acertan, o modelo enche os ocos con fluidez e as persoas usuarias perden a confianza despois do terceiro erro dito con seguridade.

02 Que entregamos

Que entregamos

  1. 01 Sistemas de recuperación e de coñecemento corporativo

    Recuperación deseñada para cada fonte: como se analiza e se fragmenta o contido, como se combinan a busca léxica e a vectorial, e como viaxan os permisos de acceso con cada fragmento. É a base dos asistentes de coñecemento corporativo.

    Que facemos

    • Inventario de fontes con responsables, formatos e modelos de acceso
    • Estratexia de fragmentación e de metadatos por tipo de documento
    • Busca híbrida léxica e vectorial con reordenación
    • Recuperación que herda os permisos de acceso das fontes

    Que recibe

    • Fluxos de incorporación con detección de cambios
    • Servizo de recuperación con citas e regras de abstención
    • Informe de calidade da recuperación por fonte

  2. 02 Estratexia de modelos sen dependencia dun provedor

    Unha pasarela de modelos entre as súas aplicacións e os modelos, para enrutar segundo a tarefa, pasar a unha alternativa cando falla un provedor e cambiar de modelo a medida que cambian os prezos e as capacidades.

    Que facemos

    • Opcións entre grandes modelos aloxados, despregamentos aloxados na UE e modelos de pesos abertos aloxados por vostede
    • Enrutamento segundo a tarefa, a sensibilidade e o custo
    • Alternativas de reserva, tempos de espera, caché e límites de peticións
    • Condicións de tratamento de datos revisadas cos seus equipos xurídico e de seguridade

    Que recibe

    • Pasarela de modelos coa política de enrutamento como configuración
    • Rexistro da decisión de modelo para cada caso de uso
    • Orzamento de custo e latencia por tipo de petición

  3. 03 A avaliación como disciplina de enxeñaría

    Criterios de calidade acordados coas persoas responsables do proceso e convertidos en conxuntos de probas que se executan con cada cambio. As comprobacións feitas por outro modelo calíbranse contra a revisión humana antes de confiar nelas.

    Que facemos

    • Conxuntos de probas de referencia por caso de uso, feitos con especialistas da materia
    • Avaliación sen conexión da recuperación e da xeración por separado
    • Probas adversarias contra a inxección de instrucións e a fuga de datos
    • Avaliación en produción a partir das valoracións das persoas usuarias e de revisións por mostraxe

    Que recibe

    • Batería de avaliación integrada na CI como condición para publicar
    • Criterios de calidade aprobados pola persoa responsable do negocio
    • Resultados das probas adversarias e medidas de mitigación

  4. 04 LLMOps e observabilidade

    Trazabilidade desde a pregunta ata os fragmentos recuperados, a chamada ao modelo e a resposta, con instrucións e modelos versionados coma o código e orzamentos que se aplican en produción.

    Que facemos

    • Trazas e rexistro estruturado de cada petición
    • Versionado de instrucións, modelos e índices
    • Caché semántica e exacta onde é segura
    • Seguimento da deriva e da calidade con alertas

    Que recibe

    • Paneis de calidade, custo e latencia
    • Protocolo de incidentes para fallos propios da IA
    • Manual de operación para actualizar modelos e índices

  5. 05 Gobernanza desde o deseño

    Deseñamos tendo presente o Regulamento de IA da UE, desde a clasificación do risco e o seu papel como provedor ou responsable do despregamento ata os rexistros, a supervisión humana e a documentación. A avaliación xurídica queda en mans da súa propia asesoría legal.

    Que facemos

    • Clasificación dos casos de uso e obrigas segundo o papel
    • Achegas ás avaliacións de impacto relativas á protección de datos segundo o RXPD
    • Deseño dos rexistros e da supervisión humana
    • Documentación do modelo e do sistema xunto ao código

    Que recibe

    • Paquete de documentación do sistema
    • Deseño dos rexistros e da súa conservación
    • Procedemento de supervisión para cada caso de uso

  6. 06 Axuste fino e comprensión de documentos, cando a avaliación o pide

    O axuste fino, a destilación e a comprensión multimodal de documentos son ferramentas para carencias concretas. Usámolas cando a batería de avaliación mostra que a recuperación e as instrucións non abondan, e non antes.

    Que facemos

    • Análise de carencias a partir dos resultados da avaliación
    • Plan de preparación e etiquetaxe de datos
    • Destilación a modelos máis pequenos por custo ou latencia
    • Extracción que ten en conta a maquetación en documentos dixitalizados e complexos

    Que recibe

    • Avaliación comparada de antes e despois
    • Trazabilidade dos datos de adestramento
    • Decisión de manter, reverter ou retirar

03 Arquitectura

Unha arquitectura de referencia ilustrativa

A maioría dos sistemas de IA xenerativa que construímos para empresas e administracións teñen a mesma forma: recuperación sobre as súas fontes, unha pasarela de modelos, salvagardas a ambos os lados do modelo e, por debaixo, un ciclo de avaliación e observabilidade que decide que pode pasar a produción.

O filtro de permisos está dentro da recuperación, non na interface. Se unha persoa non pode abrir un documento no sistema de orixe, os seus fragmentos nunca chegan ao modelo no seu nome.

Capas do debuxo

Fontes
Repositorios de documentos, wikis e sistemas de negocio, máis o provedor de identidade que sabe quen pode ver que.
Recuperación
Incorporación, un índice híbrido, reordenación e o filtro de permisos.
Modelos
Unha pasarela que enruta entre modelos aloxados por provedores, aloxados na UE e propios, con alternativas de reserva e caché.
Aplicación
Respostas con citas, abstención cando falta a evidencia e salvagardas na entrada e na saída.
Operar e mellorar
Conxuntos de referencia, controis de regresión, trazas e orzamentos. As trazas de produción alimentan o seguinte conxunto de probas.
Exemplo ilustrativo

  1. Fontes

    • Repositorios de documentos e wikis
    • Sistemas de negocio
    • Provedor de identidade

  2. Recuperación

    • Incorporación e fragmentación
    • Índice híbrido
    • Filtro de permisos
    • Recuperación e reordenación

  3. Modelos

    • Pasarela de modelos
    • Modelos aloxados, na UE e propios
    • Salvagardas de entrada e saída

  4. Aplicación

    • Aplicación con citas

  5. Operar e mellorar

    • Conxuntos de referencia e controis de regresión
    • Trazas e orzamentos de custo e latencia
Recuperación, pasarela de modelos e ciclo de avaliación

Arquitectura ilustrativa, non é o sistema dun cliente.

Ler o diagrama como texto

A ruta principal vai dos repositorios de documentos á incorporación, a un índice híbrido, á recuperación con reordenación e á pasarela de modelos, e desde aí á aplicación.

Os sistemas de negocio tamén alimentan a incorporación. O provedor de identidade alimenta un filtro de permisos que limita a recuperación. As salvagardas comproban a entrada e a saída da aplicación. A pasarela enruta cara a grandes modelos aloxados, despregamentos aloxados na UE e modelos de pesos abertos aloxados por vostede.

Por debaixo, unha batería de avaliación con conxuntos de referencia e controis de regresión, e observabilidade con trazas e orzamentos de custo e latencia. As trazas de produción alimentan a batería de avaliación.

04 Consideracións e límites

Consideracións técnicas e límites

  • A calidade mídese, non se promete

    Como o abordamos

    Acordamos os criterios de calidade coas persoas responsables dos seus procesos e comprobamos a saída da IA contra eles antes e despois de cada versión.

    A recuperación e a xeración avalíanse por separado, de xeito que cada fallo sinala a súa causa.

    Límites e dependencias

    A saída da IA pode estar mal. Por iso deseñamos pasos de revisión para os casos dubidosos e abstención cando falta a evidencia.

    Un conxunto de probas vale o que valen as persoas expertas que axudan a facelo. Necesitamos o seu tempo desde o comezo.

  • Os permisos viaxan co contido

    Como o abordamos

    Os permisos de acceso recóllense na incorporación e aplícanse no momento da consulta contra o seu provedor de identidade.

    Límites e dependencias

    Cando os sistemas de orixe gardan os permisos dun xeito que non se pode ler con fiabilidade, deixamos ese contido fóra do alcance ata que se poida.

    O contido que se comparte de máis na orixe segue compartido de máis. A recuperación fai que sexa máis fácil de atopar, así que ás veces o primeiro paso é poñer orde.

  • O custo e a latencia son datos de partida do deseño

    Como o abordamos

    Cada tipo de petición ten un orzamento. O enrutamento, a caché e o tamaño do contexto axústanse a el, e os paneis mostran onde vai o diñeiro.

    Límites e dependencias

    Os prezos e os límites de uso dos provedores cambian sen que vostede o controle. A pasarela permite reaccionar, pero non fai desaparecer unha suba de prezo.

  • Os modelos cambian por debaixo

    Como o abordamos

    Os modelos fíxanse por versión, e cada actualización pasa a batería de avaliación completa antes de chegar ás persoas usuarias.

    Límites e dependencias

    Os modelos aloxados retíranse ás veces con pouco aviso. Preparamos unha alternativa para cada caso de uso, e ese plan necesita a aprobación da persoa responsable.

05 Como traballamos

Como traballamos

A orde importa: decidimos como medir antes de decidir que construír.

  1. 01

    Definir o caso de uso

    Quen o usa, que decisións apoia, que fontes pode tocar e canto custa unha resposta errada.

    ResultadoFicha do caso de uso e clasificación do risco

  2. 02

    Facer o conxunto de referencia

    Preguntas reais e respostas esperadas, recollidas coas súas persoas expertas, incluídas as que o sistema debe rexeitar.

    ResultadoConxunto de probas versionado

  3. 03

    Primeiro, a recuperación

    Incorporación, índice e filtro de permisos, axustados ata que a calidade da recuperación chega ao nivel acordado.

    ResultadoInforme de calidade da recuperación

  4. 04

    Publicar tras os controis

    A xeración, as salvagardas e a pasarela pasan a produción só cando a batería de avaliación se supera na CI.

    ResultadoVersión con evidencia da avaliación

  5. 05

    Operar e mellorar

    As trazas, as revisións por mostraxe e as valoracións das persoas usuarias alimentan o seguinte conxunto de probas e a seguinte versión.

    ResultadoRevisión mensual de calidade, custo e latencia

06 Control humano

Onde as persoas manteñen o control

A IA xenerativa redacta, recupera e suxire. As persoas deciden que pode ver, que se considera bo e que pasa cando ten dúbidas.

  • A persoa responsable aproba a calidade

    A persoa responsable de negocio de cada caso de uso aproba os criterios de calidade e a evidencia de cada versión, non só o equipo que a entrega.

  • As respostas dubidosas van a unha persoa

    Por debaixo dun limiar de confianza acordado, o sistema abstense ou envía a pregunta a un equipo designado.

  • O acceso decídese na orixe

    Quen pode ver un documento decídese no sistema de orixe e no seu provedor de identidade, nunca dentro da capa de IA.

  • As valoracións cambian o sistema

    As persoas usuarias poden marcar respostas. As marcas revísanas persoas, e os fallos confirmados convértense en casos de proba.

07 Tecnoloxías

Tecnoloxías coas que traballamos

Recuperación
  • OpenSearch e Elasticsearch
  • PostgreSQL con pgvector
  • Azure AI Search
  • Reordenadores de tipo cross-encoder
Modelos
  • Grandes modelos aloxados
  • Servizos de modelos xestionados en rexións da UE
  • Modelos de pesos abertos sobre vLLM
  • Modelos de embeddings por lingua
Avaliación e operación
  • Trazas con OpenTelemetry
  • Baterías de avaliación na CI
  • Rexistros de instrucións e de modelos
  • Langfuse ou equivalente
Aplicación
  • Servizos en TypeScript e Python
  • API con streaming
  • Portais existentes e interfaces de Salesforce, SAP e Odoo

Mencionar unha tecnoloxía describe a nosa experiencia técnica. Non implica unha asociación co seu fabricante nin o seu respaldo.

08 Exemplo

Un exemplo ilustrativo

Exemplo ilustrativo

Un asistente sobre a normativa propia dunha deputación provincial

01Situación
As ordenanzas, as bases reguladoras e as instrucións internas están repartidas entre o xestor documental, a sede electrónica e as carpetas de cada servizo, en galego e en castelán. O persoal fai as mesmas preguntas a distintas persoas e recibe respostas diferentes.
02Que construiriamos
Recuperación sobre os documentos vixentes nas dúas linguas, cos permisos herdados do xestor documental e respostas que citan o artigo e a versión aplicable.
03Onde deciden as persoas
Cada servizo aproba o conxunto de probas dos seus documentos e valida as versións que cambian as respostas sobre a súa normativa.
04Que mediriamos
Proporción de respostas que citan o documento vixente correcto, taxa de abstención nas preguntas fóra de alcance e custo por resposta en cada lingua.

09 Por sector

No seu sector

  • Sector público

    Asistentes para o persoal tramitador e para a cidadanía que citan a fonte xurídica, funcionan en galego e en castelán e rexistran que se recuperou e para quen.

  • Servizos financeiros

    Asistentes sobre políticas e procedementos con permisos estritos, trazabilidade completa e documentación do risco de modelo que a súa segunda liña de defensa pode revisar.

  • Saúde e ciencias da vida

    Recuperación sobre protocolos e documentación de produto con límites claros: ningunha decisión clínica e os datos sensibles en contornos aprobados.

España

Dúas linguas, un mesmo criterio de avaliación

En España, a IA xenerativa traballa con normas europeas e nacionais en movemento. O Regulamento de IA fixa o marco común; o proxecto de lei orgánica para o bo uso e a gobernanza da intelixencia artificial está en tramitación no Congreso e, segundo o Goberno, sitúa a AESIA, con sede na Coruña, como órgano central. As administracións de Galicia traballan en galego e en castelán, e o coñecemento que se consulta adoita estar nas dúas linguas.

Deseñámolo desde a fase de descubrimento: recuperación e avaliación por lingua, residencia dos datos decidida en cada caso de uso, e rexistros e documentación que responden ás preguntas de cada organismo sen un sistema distinto para cada un. Deseñamos sistemas que funcionan en galego e en castelán, coas dúas linguas ao mesmo nivel. Os programas financiados por Europa Dixital adoitan pedir precisamente este tipo de deseño reutilizable e documentado.

Preguntas sobre enxeñaría de IA

Que modelo nos recomendan?

Depende da tarefa, dos datos implicados e dos seus requisitos de aloxamento. Adoitamos combinar modelos: un modelo potente para os pasos que esixen razoamento, modelos máis pequenos ou propios para a clasificación e a extracción, e despregamentos aloxados na UE cando os datos deben quedar na UE.

A pasarela fai que esa elección sexa reversible, de modo que a resposta pode cambiar ao tempo que cambian os modelos e os prezos.

Que precisión terá?

Non damos unha cifra de precisión antes de medila cos seus datos. Acordamos con vostede os criterios de calidade, facemos un conxunto de probas e informamos dos resultados antes da posta en produción e despois de cada cambio.

Os modelos cometen erros, así que o deseño sempre inclúe que pasa cando os cometen: abstención, pasos de revisión e un camiño cara a unha persoa.

Usaranse os nosos datos para adestrar o modelo doutra empresa?

Non nas arquitecturas que deseñamos. Eliximos servizos de modelos cuxas condicións exclúen o adestramento coas súas entradas, ou aloxamos os modelos no seu propio contorno, e documentamos a elección de cada caso de uso co seu equipo de seguridade.

Aplícase o Regulamento de IA da UE ao noso caso de uso?

Axudámoslle a entender que obrigas poden aplicarse, segundo o caso de uso e o seu papel como provedor ou responsable do despregamento, e deseñamos os rexistros, a supervisión e a documentación de acordo con elas, para que a súa asesoría legal teña os datos necesarios para chegar a unha conclusión.

Como xestionan a seguridade e os datos sensibles?

FromNine ten a certificación ISO/IEC 27001. Os límites de acceso, a residencia dos datos e a súa conservación acórdanse antes de construír, e as probas adversarias contra a inxección de instrucións e a fuga de datos forman parte do proceso de publicación que deixamos montado.

Cal é un primeiro paso sensato?

Un caso de uso cunha persoa responsable clara, un conxunto limitado de fontes e un conxunto de probas feito coas súas persoas expertas. Así obtén un sistema que funciona e evidencias sobre calidade, custo e latencia, que é o que necesita a seguinte decisión de investimento.

Traia un caso de uso e as súas preguntas máis difíciles

Mostrarémoslle como o mediriamos antes de falar de construílo.

Fálenos do seu proxectoCoñecemento corporativo