Aller au contenu principal
FromNine
Menu

IA et données

Ingénierie IA : une IA générative qui tient ses promesses en production

Nous développons des applications d’IA générative sur vos propres connaissances et données, avec une recherche documentaire qui respecte les droits d’accès, une évaluation qui conditionne chaque mise en production, et une visibilité permanente sur les coûts, la qualité et la latence.

Pour les DSI qui doivent industrialiser un premier cas d’usage d’IA générative sous le regard du RSSI, du DPO et des représentants du personnel.

Échanger sur votre projetDécouvrir notre approche
Ingénierie IA et IA générative : les couches de la solutionQuatre couches superposées en profondeur. De haut en bas : la recherche dans vos sources, la passerelle de modèles, l’évaluation et les garde-fous, puis l’application utilisée par vos équipes. Un parcours relie les sources à l’application.01Recherche dans vos sources02Passerelle et routage des modèles03Évaluation et garde-fous04Application en production
  1. 01Des réponses qui citent leurs sources et s’abstiennent lorsque les éléments manquent
  2. 02Un jeu de référence et des tests de non-régression validés avec vos équipes avant la mise en production
  3. 03Un routage des modèles et des budgets qui rendent visibles le coût et la latence de chaque requête

01 Enjeux

Là où l’IA générative s’enlise

Le modèle est rarement la partie difficile. Ce qui freine la plupart des programmes, c’est tout ce qui l’entoure.

  1. 01

    Le pilote a convaincu, puis personne n’a su dire s’il était bon

    La qualité a été jugée par quelques personnes sur quelques questions. Sans jeu de test, chaque modification de prompt ou changement de modèle devient un pari.

  2. 02

    L’assistant montre des documents que l’utilisateur ne devrait pas voir

    Les contenus ont été indexés sans leurs droits d’accès. La sécurité et les représentants du personnel bloquent le déploiement, et ils ont raison.

  3. 03

    Les coûts augmentent plus vite que l’usage

    Chaque requête part vers le plus grand modèle avec le contexte le plus long. Personne ne connaît le coût d’une réponse, donc personne ne peut le piloter.

  4. 04

    Les réponses ont l’air justes, mais ne le sont pas

    La recherche remonte des passages approchants, le modèle comble les vides avec aisance, et les utilisateurs perdent confiance à la troisième erreur affirmée avec assurance.

02 Prestations

Ce que nous livrons

  1. 01 Recherche documentaire et systèmes de connaissance d’entreprise

    Une recherche conçue source par source : comment les contenus sont analysés et découpés, comment se combinent recherche lexicale et vectorielle, et comment les droits d’accès accompagnent chaque passage. C’est le socle des assistants de connaissance d’entreprise.

    Ce que nous faisons

    • Inventaire des sources avec leurs responsables, formats et modes d’accès
    • Stratégie de découpage (chunking) et de métadonnées par type de document
    • Recherche hybride, lexicale et vectorielle, avec reclassement (re-ranking)
    • Recherche qui hérite des droits d’accès des sources

    Ce que vous recevez

    • Chaînes d’ingestion avec détection des modifications
    • Service de recherche avec citations et règles d’abstention
    • Rapport de qualité de la recherche par source

  2. 02 Une stratégie de modèles sans dépendance

    Une passerelle placée entre vos applications et les modèles, pour router selon la tâche, basculer lorsqu’un fournisseur est défaillant et changer de modèle au gré des prix et des capacités.

    Ce que nous faisons

    • Choix entre modèles de pointe hébergés, déploiements hébergés dans l’UE et modèles à poids ouverts auto-hébergés
    • Routage selon la tâche, la sensibilité et le coût
    • Solutions de repli, délais d’expiration, cache et limites de débit
    • Conditions de traitement des données examinées avec vos équipes juridiques et sécurité

    Ce que vous recevez

    • Passerelle de modèles avec politique de routage paramétrable
    • Dossier de décision de modèle par cas d’usage
    • Budget de coût et de latence par type de requête

  3. 03 L’évaluation comme discipline d’ingénierie

    Des critères de qualité définis avec les responsables du processus, traduits en jeux de test exécutés à chaque modification. Les contrôles notés par un modèle sont calibrés sur une revue humaine avant que nous nous y fiions.

    Ce que nous faisons

    • Jeux de référence par cas d’usage, construits avec les experts métier
    • Évaluation hors ligne de la recherche et de la génération, séparément
    • Red teaming contre l’injection de prompt et les fuites de données
    • Évaluation en ligne à partir des retours de production et d’une revue par échantillonnage

    Ce que vous recevez

    • Suite d’évaluation intégrée à la CI comme critère de mise en production
    • Critères de qualité validés par le responsable métier
    • Constats de red teaming et mesures correctives

  4. 04 LLMOps et observabilité

    Un traçage de bout en bout, de la question aux passages retrouvés, à l’appel au modèle et à la réponse, avec des prompts et des modèles versionnés comme du code et des budgets appliqués en production.

    Ce que nous faisons

    • Traçage et journalisation structurée de chaque requête
    • Versionnage des prompts, des modèles et des index
    • Cache sémantique et exact lorsque c’est sans risque
    • Suivi de la dérive et de la qualité, avec alertes

    Ce que vous recevez

    • Tableaux de bord qualité, coût et latence
    • Procédure de gestion des incidents propres à l’IA
    • Procédure d’exploitation pour les mises à jour de modèles et d’index

  5. 05 Une gouvernance intégrée dès la conception

    Nous intégrons le règlement européen sur l’IA (AI Act) à chaque étape de la conception, de la classification des risques et de votre rôle de fournisseur ou de déployeur jusqu’à la journalisation, au contrôle humain et à la documentation. L’analyse juridique reste du ressort de vos propres conseils.

    Ce que nous faisons

    • Classification des cas d’usage et obligations selon le rôle
    • Contribution aux analyses d’impact relatives à la protection des données (RGPD)
    • Conception de la journalisation et du contrôle humain
    • Documentation des modèles et du système tenue à jour avec le code

    Ce que vous recevez

    • Dossier de documentation du système
    • Conception de la journalisation et de la conservation
    • Procédure de contrôle humain par cas d’usage

  6. 06 Fine-tuning et compréhension documentaire, quand l’évaluation le justifie

    Le fine-tuning, la distillation et la compréhension multimodale des documents répondent à des lacunes précises. Nous y recourons lorsque la suite d’évaluation montre que la recherche et l’ingénierie des prompts ne suffisent pas, et pas avant.

    Ce que nous faisons

    • Analyse des écarts à partir des résultats d’évaluation
    • Plan de préparation et d’annotation des données
    • Distillation vers des modèles plus petits pour le coût ou la latence
    • Extraction tenant compte de la mise en page pour les documents numérisés et complexes

    Ce que vous recevez

    • Évaluation comparative avant et après
    • Traçabilité des données d’entraînement
    • Décision de conserver, d’annuler ou de retirer

03 Architecture

Une architecture de référence illustrative

La plupart des systèmes d’IA générative d’entreprise que nous construisons partagent la même forme : une recherche dans vos sources, une passerelle de modèles, des garde-fous de part et d’autre du modèle, et en dessous une boucle d’évaluation et d’observabilité qui décide de ce qui peut passer en production.

Le filtre de droits d’accès se situe dans la recherche, pas dans l’interface utilisateur. Si une personne ne peut pas ouvrir un document dans le système source, ses passages n’atteignent jamais le modèle en son nom.

Couches du schéma

Sources
Gestion documentaire, wikis et applications métier, ainsi que le fournisseur d’identité qui sait qui peut voir quoi.
Recherche
Ingestion, index hybride, reclassement et filtre de droits d’accès.
Modèles
Une passerelle qui route entre modèles hébergés, hébergés dans l’UE et auto-hébergés, avec solutions de repli et cache.
Application
Réponses sourcées, abstention lorsque les éléments manquent, garde-fous en entrée et en sortie.
Exploiter et améliorer
Jeux de référence, tests de non-régression, traces et budgets. Les traces de production alimentent le jeu de test suivant.
Exemple illustratif

  1. Sources

    • Espaces documentaires et wikis
    • Applications métier
    • Fournisseur d’identité

  2. Recherche

    • Ingestion et découpage
    • Index hybride
    • Filtre de droits d’accès
    • Recherche et reclassement

  3. Modèles

    • Passerelle de modèles
    • Modèles hébergés, hébergés dans l’UE et auto-hébergés
    • Garde-fous en entrée et en sortie

  4. Application

    • Application avec citations

  5. Exploiter et améliorer

    • Jeux de référence et tests de non-régression
    • Traces, budgets de coût et de latence
Recherche, passerelle de modèles et boucle d’évaluation

Architecture illustrative, pas un système client.

Lire le schéma sous forme de texte

Le parcours principal va des espaces documentaires à l’application, en passant par l’ingestion, un index hybride, la recherche avec reclassement et la passerelle de modèles.

Les applications métier alimentent aussi l’ingestion. Le fournisseur d’identité alimente un filtre de droits d’accès qui encadre la recherche. Des garde-fous contrôlent les entrées et les sorties de l’application. La passerelle route vers des modèles de pointe hébergés, des déploiements hébergés dans l’UE et des modèles à poids ouverts auto-hébergés.

En dessous, une suite d’évaluation avec jeux de référence et tests de non-régression, et une observabilité avec traces et budgets de coût et de latence. Les traces de production alimentent la suite d’évaluation.

04 Points d’attention et limites

Choix d’ingénierie et limites

  • La qualité se mesure, elle ne se promet pas

    Notre méthode

    Nous définissons les critères de qualité avec les responsables de vos processus et testons les résultats de l’IA au regard de ces critères avant et après chaque mise en production.

    La recherche et la génération sont évaluées séparément, de sorte qu’une défaillance renvoie à sa cause.

    Limites et dépendances

    Les résultats de l’IA peuvent être erronés. C’est pourquoi nous prévoyons des étapes de vérification pour les cas incertains et l’abstention lorsque les éléments manquent.

    Un jeu de test ne vaut que par les experts qui contribuent à le construire. Nous avons besoin de leur temps dès le départ.

  • Les droits d’accès accompagnent les contenus

    Notre méthode

    Les droits d’accès sont relevés à l’ingestion et appliqués à chaque requête en s’appuyant sur votre fournisseur d’identité.

    Limites et dépendances

    Lorsque les systèmes sources gèrent les droits d’une manière qui ne peut pas être lue de façon fiable, nous laissons ces contenus hors périmètre jusqu’à ce que ce soit possible.

    Un contenu trop largement partagé dans la source le reste. La recherche le rend plus facile à trouver : un nettoyage est donc parfois la première étape.

  • Le coût et la latence sont des données de conception

    Notre méthode

    Chaque type de requête reçoit un budget. Le routage, le cache et la taille du contexte sont ajustés en conséquence, et les tableaux de bord montrent où va l’argent.

    Limites et dépendances

    Les prix et les limites de débit des fournisseurs évoluent indépendamment de vous. La passerelle vous permet de réagir, mais elle ne fait pas disparaître une hausse de prix.

  • Les modèles changent sous vos pieds

    Notre méthode

    Les versions des modèles sont figées, et chaque mise à niveau passe la suite d’évaluation complète avant d’atteindre les utilisateurs.

    Limites et dépendances

    Les modèles hébergés sont parfois retirés à bref délai. Nous prévoyons une alternative par cas d’usage, et ce plan doit être approuvé par le responsable.

05 Notre façon de travailler

Notre façon de travailler

L’ordre compte : nous décidons comment mesurer avant de décider quoi construire.

  1. 01

    Cadrer le cas d’usage

    Qui l’utilise, quelles décisions il éclaire, quelles sources il peut consulter et ce que coûte une mauvaise réponse.

    LivrableNote de cadrage et classification des risques

  2. 02

    Construire le jeu de référence

    De vraies questions et les réponses attendues, collectées avec vos experts métier, y compris celles que le système doit refuser.

    LivrableJeu de test versionné

  3. 03

    Traiter la recherche en premier

    Ingestion, index et filtre de droits d’accès, ajustés jusqu’à ce que la qualité de la recherche atteigne le niveau convenu.

    LivrableRapport de qualité de la recherche

  4. 04

    Mettre en production sous conditions

    La génération, les garde-fous et la passerelle ne passent en production que lorsque la suite d’évaluation est validée en CI.

    LivrableMise en production avec preuves d’évaluation

  5. 05

    Exploiter et améliorer

    Les traces, la revue par échantillonnage et les retours des utilisateurs alimentent le jeu de test et la version suivants.

    LivrableRevue mensuelle de la qualité, du coût et de la latence

06 Contrôle humain

Là où l’humain garde la main

L’IA générative rédige, recherche et suggère. Ce sont des personnes qui décident de ce qu’elle peut voir, de ce qui est considéré comme bon et de ce qui se passe lorsqu’elle n’est pas sûre.

  • Les responsables valident la qualité

    Le responsable métier de chaque cas d’usage approuve les critères de qualité et les preuves de mise en production, pas l’équipe projet seule.

  • Les réponses incertaines vont à une personne

    Sous un seuil de confiance convenu, le système s’abstient ou transmet la question à une équipe désignée.

  • Les droits d’accès restent à la source

    Qui peut voir un document se décide dans le système source et dans votre fournisseur d’identité, jamais dans la couche d’IA.

  • Les retours font évoluer le système

    Les utilisateurs peuvent signaler une réponse. Les signalements sont examinés par des personnes, et les défaillances confirmées deviennent des cas de test.

07 Technologies

Technologies que nous utilisons

Recherche
  • OpenSearch et Elasticsearch
  • PostgreSQL avec pgvector
  • Azure AI Search
  • Reclasseurs de type cross-encoder
Modèles
  • Modèles de pointe hébergés
  • Services de modèles managés en région UE
  • Modèles à poids ouverts sur vLLM
  • Modèles d’embedding adaptés à chaque langue
Évaluation et exploitation
  • Traçage OpenTelemetry
  • Suites d’évaluation intégrées à la CI
  • Registres de prompts et de modèles
  • Langfuse ou équivalent
Application
  • Services TypeScript et Python
  • API en streaming
  • Portails existants, interfaces Salesforce, SAP et Odoo

La mention d’une technologie décrit notre expérience d’ingénierie. Elle n’implique ni partenariat avec son éditeur ni recommandation de sa part.

08 Exemple

Un exemple illustratif

Exemple illustratif

Un assistant sur les conventions collectives pour une DRH

01Situation
Un groupe de services emploie des salariés relevant de plusieurs conventions collectives et accords d’entreprise. Les gestionnaires RH passent des heures à retrouver la règle applicable à une prime ou à un congé.
02Ce que nous construirions
Une recherche documentaire sur les conventions, accords et notes internes, qui respecte les droits d’accès de l’intranet RH et cite l’article applicable dans chaque réponse.
03Là où l’humain décide
Le service juridique social valide le jeu de questions de référence ; toute question sans source applicable est renvoyée vers un juriste.
04Ce que nous mesurerions
Part des réponses citant le bon article, taux d’abstention sur les questions hors périmètre, temps de recherche des gestionnaires.

09 Regard sectoriel

Dans votre secteur

  • Secteur public et administrations

    Des assistants pour les agents et les citoyens qui citent la source juridique, fonctionnent dans chaque langue officielle et journalisent ce qui a été retrouvé et pour qui.

  • Services financiers

    Des assistants sur les politiques et procédures, avec des habilitations strictes, une traçabilité complète et une documentation du risque de modèle que votre deuxième ligne de défense peut examiner.

  • Santé et sciences de la vie

    Une recherche dans les protocoles et la documentation produit, avec des limites claires : aucune décision clinique, données sensibles conservées dans des environnements approuvés.

France

IA générative et exigences françaises

En France, la CNIL a publié des recommandations détaillées sur le développement des systèmes d’IA au regard du RGPD, et le règlement européen sur l’IA fixe le cadre de transparence et de contrôle humain. Les grandes organisations y ajoutent souvent une exigence de souveraineté : modèles européens, hébergement sur un cloud qualifié SecNumCloud pour les données sensibles.

Nous intégrons ces choix dès la conception : une passerelle de modèles qui permet de basculer vers un modèle ou un hébergeur européen, des journaux exploitables par le DPO et le CSE, une documentation en français.

Questions sur l’ingénierie IA

Quel modèle recommandez-vous ?

Cela dépend de la tâche, des données concernées et de vos exigences d’hébergement. Nous combinons généralement plusieurs modèles : un modèle performant pour les étapes qui demandent du raisonnement, des modèles plus petits ou auto-hébergés pour la classification et l’extraction, et des déploiements hébergés dans l’UE lorsque les données doivent y rester.

La passerelle garde ce choix réversible : la réponse peut évoluer avec les modèles et les prix.

Quelle précision pouvons-nous attendre ?

Nous n’annonçons pas de précision avant de l’avoir mesurée sur vos données. Nous définissons avec vous des critères de qualité, construisons un jeu de test et rendons compte des résultats avant la mise en production et après chaque modification.

Les résultats de l’IA peuvent être erronés : la conception prévoit donc toujours ce qui se passe dans ce cas, qu’il s’agisse d’abstention, d’étapes de vérification ou d’un renvoi vers une personne.

Nos données serviront-elles à entraîner le modèle d’un tiers ?

Pas dans les architectures que nous concevons. Nous choisissons des services de modèles dont les conditions excluent l’entraînement sur vos données, ou nous hébergeons les modèles dans votre environnement, et nous documentons ce choix par cas d’usage avec votre équipe sécurité.

Le règlement européen sur l’IA s’applique-t-il à notre cas d’usage ?

Nous vous aidons à identifier les obligations susceptibles de s’appliquer, selon le cas d’usage et votre rôle de fournisseur ou de déployeur, et nous concevons la journalisation, le contrôle humain et la documentation en conséquence. L’analyse juridique reste du ressort de vos propres conseils.

Comment traitez-vous la sécurité et les données sensibles ?

FromNine est certifiée ISO/IEC 27001. Les périmètres d’accès, la localisation et la conservation des données sont convenus avant le développement, et le red teaming contre l’injection de prompt et les fuites de données fait partie du processus de mise en production que nous mettons en place.

Par quoi commencer ?

Un cas d’usage avec un responsable clairement identifié, un ensemble limité de sources et un jeu de test construit avec vos experts. Vous obtenez un système opérationnel et des éléments probants sur la qualité, le coût et la latence : exactement ce qu’exige la prochaine décision d’investissement.

Apportez un cas d’usage et ses questions difficiles

Nous vous montrerons comment nous le mesurerions avant de parler de développement, avec des réponses précises aux questions de votre RSSI sur l’hébergement et les modèles.

Échanger sur votre projetDécouvrir notre approche