Naar de hoofdinhoud
FromNine
Menu

AI en data

AI-engineering voor generatieve AI die in productie standhoudt

Wij bouwen toepassingen met generatieve AI op uw eigen kennis en data: met retrieval die toegangsrechten respecteert, evaluatie die over elke release beslist en zicht op kosten, kwaliteit en responstijd.

Voor Nederlandse organisaties die van een geslaagde pilot naar een AI-toepassing willen die medewerkers elke dag vertrouwen.

Bespreek uw projectBekijk onze aanpak
AI-engineering & GenAI: de lagen van de dienstVier lagen, in de diepte gestapeld. Van boven naar beneden: retrieval over uw bronnen, de modelgateway, evaluatie en vangrails, en de toepassing waarin uw gebruikers werken. Eén route loopt van de bronnen naar de toepassing.01Retrieval over uw bronnen02Modelgateway en routering03Evaluatie en vangrails04Toepassing in productie
  1. 01Antwoorden die hun bronnen vermelden en zwijgen als het bewijs ontbreekt
  2. 02Een referentieset en regressietests, vóór de livegang afgesproken met uw teams
  3. 03Modelroutering en budgetten die kosten en responstijd per vraag zichtbaar houden

01 Knelpunten

Waar generatieve AI vastloopt

Het model is zelden het moeilijke deel. Wat de meeste programma’s afremt, is alles eromheen.

  1. 01

    De pilot maakte indruk, maar niemand kon zeggen of hij goed was

    De kwaliteit werd beoordeeld door een paar mensen die een paar vragen uitprobeerden. Er is geen testset, dus elke aanpassing van een prompt of upgrade van een model is een gok.

  2. 02

    De assistent toont documenten die mensen niet mogen zien

    De inhoud werd geïndexeerd zonder de bijbehorende toegangsrechten. Security en de ondernemingsraad houden de uitrol tegen, en terecht.

  3. 03

    De kosten stijgen sneller dan het gebruik

    Elke vraag gaat naar het grootste model met de langste context. Niemand kent de kosten van één antwoord, dus niemand kan ze sturen.

  4. 04

    De antwoorden klinken juist, maar zijn het niet

    Retrieval levert net-niet-passende fragmenten op, het model vult de gaten vlot aan en na de derde stellige fout haken gebruikers af.

02 Wat we leveren

Wat wij leveren

  1. 01 Retrieval en kennissystemen voor organisaties

    Retrieval, het ophalen van de juiste passages, ontworpen per bron: hoe inhoud wordt ingelezen en opgeknipt, hoe trefwoord- en vectorzoeken samenwerken en hoe toegangsrechten met elke passage meereizen. De basis voor kennisontsluiting.

    Wat we doen

    • Inventaris van bronnen met eigenaars, formaten en toegangsmodellen
    • Strategie voor opknippen (chunking) en metadata per documenttype
    • Hybride zoeken op trefwoord en vector, met herrangschikking (re-ranking)
    • Retrieval die de toegangsrechten van de bron overneemt

    Wat u ontvangt

    • Inleespijplijnen die wijzigingen detecteren
    • Retrievaldienst met bronvermelding en regels om niet te antwoorden
    • Rapport over de retrievalkwaliteit per bron

  2. 02 Modelstrategie zonder lock-in

    Een modelgateway tussen uw toepassingen en de modellen, zodat u per taak kunt routeren, kunt terugvallen als een aanbieder uitvalt en van model kunt wisselen wanneer prijzen en mogelijkheden veranderen.

    Wat we doen

    • Keuze tussen gehoste frontiermodellen, deployments in de EU en zelf gehoste open-weight modellen
    • Routering op taak, gevoeligheid en kosten
    • Terugvalopties, time-outs, caching en limieten op het aantal aanroepen
    • Voorwaarden voor gegevensverwerking, getoetst met uw juridische en securityteams

    Wat u ontvangt

    • Modelgateway met routeringsbeleid als configuratie
    • Vastgelegde modelkeuze per toepassing
    • Budget voor kosten en responstijd per type vraag

  3. 03 Evaluatie als engineeringdiscipline

    Kwaliteitscriteria, afgesproken met de mensen die eigenaar zijn van het proces, vertaald naar testsets die bij elke wijziging draaien. Controles waarbij een model de beoordeling doet, kalibreren we eerst tegen menselijke beoordeling voordat we erop vertrouwen.

    Wat we doen

    • Referentiesets (golden datasets) per toepassing, opgebouwd met domeinexperts
    • Offline evaluatie van retrieval en generatie, elk afzonderlijk
    • Red teaming op promptinjectie en datalekken
    • Online evaluatie op basis van feedback uit productie en steekproefsgewijze beoordeling

    Wat u ontvangt

    • Evaluatiesuite in de CI-pijplijn als releasepoort
    • Kwaliteitscriteria, goedgekeurd door de proceseigenaar
    • Bevindingen uit red teaming en maatregelen

  4. 04 LLMOps en observability

    Tracing van vraag naar opgehaalde passages, modelaanroep en antwoord, met prompts en modellen die net als code worden geversioneerd en budgetten die in productie worden afgedwongen.

    Wat we doen

    • Tracing en gestructureerde logging van elke vraag
    • Versiebeheer van prompts, modellen en indexen
    • Semantische en exacte caching waar dat veilig kan
    • Monitoring van drift en kwaliteit, met alerts

    Wat u ontvangt

    • Dashboards voor kwaliteit, kosten en responstijd
    • Incidentdraaiboek voor AI-specifieke storingen
    • Runbook voor updates van modellen en indexen

  5. 05 Governance vanaf het ontwerp

    Wij ontwerpen met de Europese AI-verordening (AI Act) voor ogen: van risicoclassificatie en uw rol als aanbieder of gebruiksverantwoordelijke tot logging, menselijk toezicht en documentatie. De juridische beoordeling blijft bij uw eigen juristen.

    Wat we doen

    • Classificatie van de toepassing en verplichtingen per rol
    • Input voor gegevensbeschermingseffectbeoordelingen (DPIA) onder de AVG (GDPR)
    • Ontwerp van logging en menselijk toezicht
    • Documentatie van model en systeem, bewaard bij de code

    Wat u ontvangt

    • Documentatiepakket van het systeem
    • Ontwerp voor logging en bewaartermijnen
    • Toezichtsprocedure per toepassing

  6. 06 Fine-tuning en documentbegrip, als de evaluatie erom vraagt

    Fine-tuning, distillatie en multimodaal documentbegrip zijn middelen voor specifieke tekortkomingen. Wij zetten ze in wanneer de evaluatiesuite aantoont dat retrieval en prompting niet volstaan, en niet eerder.

    Wat we doen

    • Analyse van tekortkomingen op basis van evaluatieresultaten
    • Plan voor datavoorbereiding en labeling
    • Distillatie naar kleinere modellen voor lagere kosten of responstijd
    • Lay-outbewuste extractie uit gescande en complexe documenten

    Wat u ontvangt

    • Vergelijkende evaluatie vooraf en achteraf
    • Herkomst van de trainingsdata
    • Besluit om te behouden, terug te draaien of uit te faseren

03 Architectuur

Een illustratieve referentiearchitectuur

De meeste systemen met generatieve AI die wij voor organisaties bouwen, hebben dezelfde vorm: retrieval over uw bronnen, een modelgateway, vangrails aan beide kanten van het model en daaronder een lus van evaluatie en observability die bepaalt wat live mag.

Het rechtenfilter zit in de retrieval, niet in de gebruikersinterface. Als iemand een document in het bronsysteem niet mag openen, bereiken de passages ervan het model nooit namens die persoon.

Lagen in de tekening

Bronnen
Documentopslag, wiki’s en bedrijfssystemen, plus de identiteitsprovider die weet wie wat mag zien.
Retrieval
Inlezen, een hybride index, herrangschikking en het rechtenfilter.
Modellen
Een gateway die routeert tussen gehoste modellen, modellen gehost in de EU en zelf gehoste modellen, met terugvalopties en caching.
Toepassing
Antwoorden met bronvermelding, geen antwoord als het bewijs ontbreekt, en vangrails op invoer en uitvoer.
Beheren en verbeteren
Referentiesets, regressietests, traces en budgetten. Traces uit productie voeden de volgende testset.
Illustratief voorbeeld

  1. Bronnen

    • Documentopslag en wiki’s
    • Bedrijfssystemen
    • Identiteitsprovider

  2. Retrieval

    • Inlezen en opknippen
    • Hybride index
    • Rechtenfilter
    • Retrieval en herrangschikking

  3. Modellen

    • Modelgateway
    • Gehoste, EU-gehoste en eigen modellen
    • Vangrails op invoer en uitvoer

  4. Toepassing

    • Toepassing met bronvermelding

  5. Beheren en verbeteren

    • Referentiesets en regressietests
    • Traces, budgetten voor kosten en responstijd
Retrieval, modelgateway en evaluatielus

Illustratieve architectuur, geen systeem van een klant.

Lees het diagram als tekst

De hoofdroute loopt van documentopslag via inlezen, een hybride index, retrieval met herrangschikking en de modelgateway naar de toepassing.

Ook bedrijfssystemen voeden het inlezen. De identiteitsprovider voedt een rechtenfilter dat de retrieval begrenst. Vangrails controleren invoer en uitvoer van de toepassing. De gateway routeert naar gehoste frontiermodellen, deployments in de EU en zelf gehoste open-weight modellen.

Daaronder een evaluatiesuite met referentiesets en regressietests, en observability met traces en budgetten voor kosten en responstijd. Traces uit productie voeden de evaluatiesuite.

04 Aandachtspunten en grenzen

Technische afwegingen en grenzen

  • Kwaliteit wordt gemeten, niet beloofd

    Hoe we het aanpakken

    Wij spreken kwaliteitscriteria af met uw proceseigenaars en toetsen de AI-output daaraan, vóór en na elke release.

    Retrieval en generatie worden afzonderlijk geëvalueerd, zodat elke fout naar haar oorzaak wijst.

    Grenzen en afhankelijkheden

    AI-output kan fout zijn. Daarom ontwerpen wij controlestappen voor onzekere gevallen en geeft het systeem geen antwoord als het bewijs ontbreekt.

    Een testset is maar zo goed als de experts die hem mee opbouwen. Wij hebben hun tijd al vroeg nodig.

  • Rechten reizen mee met de inhoud

    Hoe we het aanpakken

    Toegangsrechten worden vastgelegd bij het inlezen en bij elke vraag afgedwongen via uw identiteitsprovider.

    Grenzen en afhankelijkheden

    Waar bronsystemen rechten zo bijhouden dat ze niet betrouwbaar uit te lezen zijn, houden wij die inhoud buiten scope tot dat wel kan.

    Inhoud die in de bron te ruim gedeeld is, blijft te ruim gedeeld. Retrieval maakt ze wel makkelijker vindbaar, dus soms is een opschoning de eerste stap.

  • Kosten en responstijd zijn ontwerpeisen

    Hoe we het aanpakken

    Elk type vraag krijgt een budget. Routering, caching en contextgrootte worden daarop afgestemd, en de dashboards tonen waar het geld naartoe gaat.

    Grenzen en afhankelijkheden

    Prijzen en limieten van aanbieders veranderen buiten uw invloed. Met de gateway kunt u reageren, maar een prijswijziging verdwijnt er niet door.

  • Modellen veranderen buiten u om

    Hoe we het aanpakken

    Modellen worden op een vaste versie vastgezet, en elke upgrade doorloopt de volledige evaluatiesuite voordat gebruikers ermee werken.

    Grenzen en afhankelijkheden

    Gehoste modellen worden soms op korte termijn uitgefaseerd. Wij plannen per toepassing een alternatief, en dat plan heeft de goedkeuring van de eigenaar nodig.

05 Hoe we werken

Zo werken wij

De volgorde telt: we bepalen hoe we meten voordat we bepalen wat we bouwen.

  1. 01

    Afbakenen van de toepassing

    Wie gebruikt het, welke beslissingen ondersteunt het, welke bronnen mag het raadplegen en wat kost een fout antwoord.

    ResultaatBeschrijving van de toepassing en risicoclassificatie

  2. 02

    Referentieset opbouwen

    Echte vragen en verwachte antwoorden, verzameld met uw domeinexperts, inclusief de vragen die het systeem moet weigeren.

    ResultaatTestset onder versiebeheer

  3. 03

    Eerst de retrieval

    Inlezen, index en rechtenfilter, bijgestuurd tot de retrievalkwaliteit de afgesproken lat haalt.

    ResultaatRapport over de retrievalkwaliteit

  4. 04

    Releasen achter een poort

    Generatie, vangrails en de gateway gaan pas live als de evaluatiesuite in de CI-pijplijn slaagt.

    ResultaatRelease met evaluatiebewijs

  5. 05

    Beheren en verbeteren

    Traces, steekproeven en feedback van gebruikers voeden de volgende testset en de volgende release.

    ResultaatMaandelijkse review van kwaliteit, kosten en responstijd

06 Menselijke controle

Waar mensen de controle houden

Generatieve AI stelt op, haalt op en doet voorstellen. Mensen beslissen wat het mag zien, wat als goed geldt en wat er gebeurt als het onzeker is.

  • Eigenaars keuren de kwaliteit goed

    De proceseigenaar van elke toepassing keurt de kwaliteitscriteria en het releasebewijs goed, niet het projectteam alleen.

  • Onzekere antwoorden gaan naar een mens

    Onder een afgesproken betrouwbaarheidsdrempel geeft het systeem geen antwoord of stuurt het de vraag door naar een benoemd team.

  • Toegang blijft bij de bron

    Wie een document mag zien, wordt bepaald in het bronsysteem en uw identiteitsprovider, nooit in de AI-laag.

  • Feedback verandert het systeem

    Gebruikers kunnen antwoorden markeren. Mensen beoordelen die meldingen, en bevestigde fouten worden testgevallen.

07 Technologieën

Technologieën waarmee wij werken

Retrieval
  • OpenSearch en Elasticsearch
  • PostgreSQL met pgvector
  • Azure AI Search
  • Cross-encoder re-rankers
Modellen
  • Gehoste frontiermodellen
  • Beheerde modeldiensten in een EU-regio
  • Open-weight modellen op vLLM
  • Embeddingmodellen per taal
Evaluatie en beheer
  • Tracing met OpenTelemetry
  • Evaluatiesuites in de CI-pijplijn
  • Registers voor prompts en modellen
  • Langfuse of een gelijkwaardig alternatief
Toepassing
  • Diensten in TypeScript en Python
  • Streaming-API’s
  • Bestaande portalen en front-ends van Salesforce, SAP en Odoo

Een technologie in deze lijst beschrijft onze engineeringervaring. Ze impliceert geen partnerschap met of aanbeveling door de leverancier.

08 Voorbeeld

Een illustratief voorbeeld

Illustratief voorbeeld

Een assistent voor beleidsmedewerkers bij een provincie

01Situatie
Beleidsmedewerkers van een provincie zoeken in Statenstukken, beleidsnota’s en uitvoeringsregels naar eerdere besluiten. Dezelfde vragen worden steeds opnieuw uitgezocht, en antwoorden verschillen per afdeling.
02Wat we zouden bouwen
Retrieval over de documentsystemen van de provincie, met toegangsrechten die meegaan uit het bronsysteem en antwoorden die verwijzen naar het besluit of de passage waarop ze rusten.
03Waar mensen beslissen
Inhoudelijk eigenaren stellen de testset vast en keuren releases goed die antwoorden op hun terrein veranderen.
04Wat we zouden meten
Aandeel antwoorden met de juiste bron, hoe vaak de assistent terecht geen antwoord geeft, en kosten per antwoord.

09 Per sector

In uw sector

  • Publieke sector & overheid

    Assistenten voor dossierbehandelaars en burgers die de juridische bron vermelden, in elke officiële taal werken en vastleggen wat voor wie werd opgehaald.

  • Financiële dienstverlening

    Assistenten voor beleid en procedures met strikte toegangsrechten, volledige traceerbaarheid en documentatie over modelrisico die uw tweede verdedigingslinie kan beoordelen.

  • Gezondheidszorg & life sciences

    Retrieval over protocollen en productdocumentatie met duidelijke grenzen: geen klinische beslissingen, gevoelige gegevens alleen in goedgekeurde omgevingen.

Nederland

Generatieve AI binnen Nederlandse kaders

De Rijksoverheid heeft een overheidsbrede visie op generatieve AI en verwacht dat organisaties eerst de risico’s in kaart brengen, met een DPIA en waar nodig een IAMA. Het Algoritmekader vertaalt de AI-verordening, de AVG en de BIO2 naar concrete eisen, en de Autoriteit Persoonsgegevens kijkt mee.

Wij bouwen die eisen in: evaluatie op Nederlandstalige testsets, bronvermelding bij elk antwoord, data die in de afgesproken regio blijft, en documentatie die past in het Algoritmeregister als dat nodig is.

Vragen over AI-engineering

Welk model raadt u aan?

Dat hangt af van de taak, de gegevens en uw eisen aan hosting. Meestal combineren wij modellen: een krachtig model voor stappen die veel redeneerwerk vragen, kleinere of zelf gehoste modellen voor classificatie en extractie, en deployments in de EU waar gegevens in de EU moeten blijven.

Dankzij de gateway blijft die keuze omkeerbaar, zodat het antwoord kan meebewegen met modellen en prijzen.

Hoe nauwkeurig wordt het?

Wij noemen geen nauwkeurigheid voordat we die op uw gegevens hebben gemeten. We spreken kwaliteitscriteria met u af, bouwen een testset en rapporteren de resultaten daartegen vóór de livegang en na elke wijziging.

AI-output kan fout zijn. Daarom regelt het ontwerp altijd wat er dan gebeurt: geen antwoord geven, controlestappen en een route naar een mens.

Worden onze gegevens gebruikt om het model van een ander te trainen?

Niet in de architecturen die wij ontwerpen. Wij kiezen modeldiensten waarvan de voorwaarden training op uw invoer uitsluiten, of hosten modellen zelf in uw omgeving, en we leggen die keuze per toepassing vast met uw securityteam.

Is de AI-verordening van toepassing op onze toepassing?

Wij helpen u te begrijpen welke verplichtingen kunnen gelden, op basis van de toepassing en uw rol als aanbieder of gebruiksverantwoordelijke, en we ontwerpen logging, toezicht en documentatie daarop. De juridische beoordeling blijft bij uw eigen juristen.

Hoe gaat u om met beveiliging en gevoelige gegevens?

FromNine is ISO/IEC 27001-gecertificeerd. Toegangsgrenzen, dataresidentie en bewaartermijnen spreken we af voordat we bouwen, en red teaming op promptinjectie en datalekken hoort bij het releaseproces dat we opzetten.

Wat is een verstandige eerste stap?

Eén toepassing met een duidelijke eigenaar, een beperkt aantal bronnen en een testset die met uw experts is opgebouwd. Zo krijgt u een werkend systeem en harde gegevens over kwaliteit, kosten en responstijd: precies wat de volgende investeringsbeslissing nodig heeft.

Kom met één toepassing en de lastigste vragen erover

Wij laten eerst zien hoe wij de kwaliteit zouden meten, en pas daarna hoe wij het zouden bouwen. Een gesprek met engineers, niet met een verkoopteam.

Bespreek uw projectBekijk onze aanpak