Salt la conținutul principal
FromNine
Meniu

IA și date

IA generativă care rezistă în producție.

Construim aplicații de IA generativă pe cunoștințele și datele dumneavoastră, cu regăsire care respectă permisiunile, evaluare care condiționează fiecare lansare și costuri, calitate și latență pe care le puteți urmări.

Pentru organizații din România care vor IA generativă pe documente în limba română și în limba engleză, cu un singur standard de evaluare.

Solicitați o discuțieAcces la cunoștințe
Inginerie IA și GenAI: straturile capabilitățiiPatru straturi suprapuse în adâncime. De sus în jos: regăsirea din sursele dumneavoastră, gateway-ul de modele, evaluarea și mecanismele de protecție, aplicația în care lucrează utilizatorii. Un singur traseu duce de la surse la aplicație.01Regăsire din sursele proprii02Gateway și rutarea modelelor03Evaluare și protecții04Aplicația în producție
  1. 01Răspunsuri care își citează sursele și se abțin atunci când lipsesc dovezile
  2. 02Un set de referință și teste de regresie convenite cu echipele dumneavoastră înainte de lansare
  3. 03Rutarea modelelor și bugete care țin vizibile costul și latența fiecărei interogări

01 Probleme

Unde se blochează IA generativă

Modelul este rareori partea dificilă. Ce blochează majoritatea programelor este tot ce se află în jurul lui.

  1. 01

    Pilotul a impresionat, apoi nimeni nu a mai putut spune dacă este bun

    Calitatea a fost judecată de câțiva oameni care au încercat câteva întrebări. Nu există un set de test, așa că fiecare modificare de prompt sau actualizare de model este un pariu.

  2. 02

    Asistentul le arată oamenilor documente pe care nu ar trebui să le vadă

    Conținutul a fost indexat fără drepturile sale de acces. Echipa de securitate și reprezentanții salariaților opresc extinderea, și au dreptate.

  3. 03

    Costurile cresc mai repede decât utilizarea

    Fiecare interogare ajunge la cel mai mare model, cu cel mai lung context. Nimeni nu știe cât costă un răspuns, deci nimeni nu îl poate gestiona.

  4. 04

    Răspunsurile sună corect, dar nu sunt

    Regăsirea aduce rezultate aproape potrivite, modelul umple golurile cu fluență, iar utilizatorii își pierd încrederea după a treia greșeală spusă cu siguranță.

02 Ce livrăm

Ce livrăm

  1. 01 Regăsire și sisteme de cunoștințe pentru organizație

    Regăsire proiectată pentru fiecare sursă: cum este analizat și fragmentat conținutul, cum se combină căutarea lexicală cu cea vectorială și cum drepturile de acces însoțesc fiecare pasaj. Este baza soluției Acces la cunoștințe.

    Ce facem

    • Inventarul surselor, cu responsabili, formate și modele de acces
    • Strategie de fragmentare și metadate pentru fiecare tip de document
    • Căutare hibridă, lexicală și vectorială, cu reordonarea rezultatelor (re-ranking)
    • Regăsire care preia drepturile de acces din sursă

    Ce primiți

    • Fluxuri de preluare cu detectarea modificărilor
    • Serviciu de regăsire cu citări și reguli de abținere
    • Raport de calitate a regăsirii pentru fiecare sursă

  2. 02 Strategie de modele fără dependență de furnizor

    Un gateway de modele între aplicațiile dumneavoastră și modele, astfel încât să puteți ruta după sarcină, să treceți pe o alternativă când un furnizor cade și să schimbați modelele pe măsură ce se schimbă prețurile și capabilitățile.

    Ce facem

    • Opțiuni între modele de vârf găzduite, implementări găzduite în UE și modele open-weight găzduite de dumneavoastră
    • Rutare după sarcină, sensibilitatea datelor și cost
    • Rezerve la eroare, limite de timp, cache și limite de trafic
    • Condițiile de prelucrare a datelor, analizate cu echipele juridice și de securitate

    Ce primiți

    • Gateway de modele cu politica de rutare definită prin configurare
    • Decizia de model documentată pentru fiecare caz de utilizare
    • Buget de cost și latență pentru fiecare tip de interogare

  3. 03 Evaluarea ca disciplină de inginerie

    Criterii de calitate convenite cu responsabilii procesului, transformate în seturi de test care rulează la fiecare modificare. Verificările făcute de un model sunt calibrate față de evaluarea umană înainte să ne bazăm pe ele.

    Ce facem

    • Seturi de referință pentru fiecare caz de utilizare, construite cu experții în domeniu
    • Evaluare offline separată pentru regăsire și pentru generare
    • Testare adversarială (red teaming) pentru injectarea de prompturi și scurgerea de date
    • Evaluare online pe baza feedbackului din producție și a verificărilor prin eșantionare

    Ce primiți

    • Suită de evaluare integrată în CI, ca prag pentru lansare
    • Criterii de calitate aprobate de responsabilul de business
    • Constatările testării adversariale și măsurile de atenuare

  4. 04 LLMOps și observabilitate

    Urmărire de la întrebare la pasajele regăsite, la apelul către model și la răspuns, cu prompturi și modele versionate ca și codul și bugete aplicate în producție.

    Ce facem

    • Urmărirea (tracing) și jurnalizarea structurată a fiecărei interogări
    • Versionarea prompturilor, a modelelor și a indexurilor
    • Cache semantic și exact, acolo unde este sigur
    • Monitorizarea derivei și a calității, cu alerte

    Ce primiți

    • Dashboarduri pentru calitate, cost și latență
    • Procedură pentru incidentele specifice IA
    • Ghid operațional pentru actualizarea modelelor și a indexurilor

  5. 05 Guvernanță prin proiectare

    Proiectăm ținând cont de Regulamentul IA, de la clasificarea riscului și rolul dumneavoastră de furnizor sau implementator, până la jurnalizare, supraveghere umană și documentație. Evaluarea juridică rămâne la consilierii dumneavoastră juridici.

    Ce facem

    • Clasificarea cazurilor de utilizare și obligațiile pe roluri
    • Contribuții la evaluările impactului asupra protecției datelor, conform RGPD
    • Proiectarea jurnalizării și a supravegherii umane
    • Documentația modelului și a sistemului, păstrată alături de cod

    Ce primiți

    • Pachet de documentație a sistemului
    • Proiectarea jurnalizării și a perioadelor de păstrare
    • Procedură de supraveghere pentru fiecare caz de utilizare

  6. 06 Fine-tuning și înțelegerea documentelor, când evaluarea o cere

    Fine-tuningul, distilarea și înțelegerea multimodală a documentelor sunt instrumente pentru lacune precise. Le folosim atunci când suita de evaluare arată că regăsirea și prompturile nu sunt suficiente, nu mai devreme.

    Ce facem

    • Analiza lacunelor pe baza rezultatelor evaluării
    • Pregătirea datelor și planul de etichetare
    • Distilare în modele mai mici, pentru cost sau latență
    • Extragere care ține cont de aspectul paginii, pentru documente scanate și complexe

    Ce primiți

    • Evaluare comparativă înainte și după
    • Trasabilitatea datelor de antrenare
    • Decizia de a păstra, a reveni sau a retrage

03 Arhitectură

O arhitectură de referință ilustrativă

Majoritatea sistemelor de IA generativă pe care le construim pentru organizații au aceeași formă: regăsire din sursele dumneavoastră, un gateway de modele, mecanisme de protecție (guardrails) de ambele părți ale modelului și, dedesubt, o buclă de evaluare și observabilitate care decide ce poate intra în producție.

Filtrul de permisiuni se află în regăsire, nu în interfața cu utilizatorul. Dacă o persoană nu poate deschide un document în sistemul-sursă, pasajele lui nu ajung niciodată la model în numele ei.

Straturile din diagramă

Surse
Depozite de documente, wikiuri și sisteme de business, plus furnizorul de identitate care știe cine ce poate vedea.
Regăsire
Preluare, un index hibrid, reordonare și filtrul de permisiuni.
Modele
Un gateway care rutează între modele găzduite, modele găzduite în UE și modele găzduite de dumneavoastră, cu rezerve la eroare și cache.
Aplicație
Răspunsuri cu citări, abținere când lipsesc dovezile și protecții la intrare și la ieșire.
Operare și îmbunătățire
Seturi de referință, teste de regresie, urme și bugete. Urmele din producție alimentează următorul set de test.
Exemplu ilustrativ

  1. Surse

    • Depozite de documente și wikiuri
    • Sisteme de business
    • Furnizor de identitate

  2. Regăsire

    • Preluare și fragmentare
    • Index hibrid
    • Filtru de permisiuni
    • Regăsire și reordonare

  3. Modele

    • Gateway de modele
    • Modele găzduite, în UE și proprii
    • Protecții la intrare și ieșire

  4. Aplicație

    • Aplicație cu citări

  5. Operare și îmbunătățire

    • Seturi de referință și teste de regresie
    • Urme, bugete de cost și latență
Regăsire, gateway de modele și buclă de evaluare

Arhitectură ilustrativă, nu sistemul unui client.

Citiți diagrama ca text

Traseul principal pornește de la depozitele de documente, trece prin preluare, un index hibrid, regăsirea cu reordonare și gateway-ul de modele și ajunge la aplicație.

Sistemele de business alimentează și ele preluarea. Furnizorul de identitate alimentează un filtru de permisiuni care limitează regăsirea. Mecanismele de protecție verifică intrarea și ieșirea aplicației. Gateway-ul rutează către modele de vârf găzduite, implementări găzduite în UE și modele open-weight găzduite de dumneavoastră.

Dedesubt se află o suită de evaluare cu seturi de referință și teste de regresie, precum și observabilitatea, cu urme și bugete de cost și latență. Urmele din producție alimentează suita de evaluare.

04 Aspecte și limite

Aspecte de inginerie și limite

  • Calitatea se măsoară, nu se promite

    Cum procedăm

    Convenim criteriile de calitate cu responsabilii proceselor și testăm rezultatele IA față de ele înainte și după fiecare lansare.

    Regăsirea și generarea sunt evaluate separat, astfel încât o eroare indică direct cauza.

    Limite și dependențe

    Rezultatele IA pot fi greșite. De aceea proiectăm pași de verificare pentru cazurile incerte și abținere atunci când lipsesc dovezile.

    Un set de test este atât de bun cât experții care ajută la construirea lui. Avem nevoie de timpul lor de la început.

  • Permisiunile însoțesc conținutul

    Cum procedăm

    Drepturile de acces sunt preluate la indexare și aplicate la fiecare interogare, pe baza furnizorului dumneavoastră de identitate.

    Limite și dependențe

    Acolo unde sistemele-sursă păstrează drepturile într-un mod care nu poate fi citit fiabil, lăsăm acel conținut în afara perimetrului până când devine posibil.

    Conținutul partajat prea larg în sursă rămâne partajat prea larg. Regăsirea îl face mai ușor de găsit, așa că uneori primul pas este o curățenie a drepturilor.

  • Costul și latența sunt date de proiectare

    Cum procedăm

    Fiecare tip de interogare primește un buget. Rutarea, cache-ul și dimensiunea contextului sunt reglate în funcție de el, iar dashboardurile arată unde se duc banii.

    Limite și dependențe

    Prețurile și limitele furnizorilor se schimbă fără să le puteți controla. Gateway-ul vă permite să reacționați, dar nu poate anula o creștere de preț.

  • Modelele se schimbă fără să vă întrebe

    Cum procedăm

    Modelele sunt fixate pe versiune, iar fiecare actualizare trece prin întreaga suită de evaluare înainte să ajungă la utilizatori.

    Limite și dependențe

    Modelele găzduite sunt uneori retrase cu preaviz scurt. Planificăm o alternativă pentru fiecare caz de utilizare, iar acest plan are nevoie de aprobarea responsabilului.

05 Cum lucrăm

Cum lucrăm

Ordinea contează: stabilim cum măsurăm înainte să decidem ce construim.

  1. 01

    Definim cazul de utilizare

    Cine îl folosește, ce decizii sprijină, ce surse poate atinge și cât costă un răspuns greșit.

    RezultatFișa cazului de utilizare și clasificarea riscului

  2. 02

    Construim setul de referință

    Întrebări reale și răspunsuri așteptate, adunate cu experții dumneavoastră, inclusiv cele pe care sistemul ar trebui să le refuze.

    RezultatSet de test versionat

  3. 03

    Începem cu regăsirea

    Preluare, index și filtru de permisiuni, reglate până când calitatea regăsirii atinge pragul convenit.

    RezultatRaport de calitate a regăsirii

  4. 04

    Lansăm doar după teste

    Generarea, protecțiile și gateway-ul intră în producție doar când suita de evaluare trece în CI.

    RezultatLansare cu dovezi din evaluare

  5. 05

    Operăm și îmbunătățim

    Urmele, verificările prin eșantionare și feedbackul utilizatorilor alimentează următorul set de test și următoarea lansare.

    RezultatAnaliză lunară a calității, costului și latenței

06 Control uman

Unde controlul rămâne la oameni

IA generativă redactează, regăsește și sugerează. Oamenii decid ce poate vedea, ce înseamnă un rezultat bun și ce se întâmplă când nu este sigură.

  • Responsabilii aprobă calitatea

    Responsabilul de business al fiecărui caz de utilizare aprobă criteriile de calitate și dovezile pentru lansare, nu doar echipa de livrare.

  • Răspunsurile incerte ajung la un om

    Sub un prag de încredere convenit, sistemul se abține sau trimite întrebarea echipei responsabile.

  • Accesul rămâne la sursă

    Cine poate vedea un document se decide în sistemul-sursă și în furnizorul dumneavoastră de identitate, niciodată în stratul de IA.

  • Feedbackul schimbă sistemul

    Utilizatorii pot semnala răspunsuri. Semnalările sunt analizate de oameni, iar erorile confirmate devin cazuri de test.

07 Tehnologii

Tehnologii cu care lucrăm

Regăsire
  • OpenSearch și Elasticsearch
  • PostgreSQL cu pgvector
  • Azure AI Search
  • Modele de reordonare cross-encoder
Modele
  • Modele de vârf găzduite
  • Servicii de modele administrate în regiuni UE
  • Modele open-weight pe vLLM
  • Modele de embedding pentru fiecare limbă
Evaluare și operare
  • Urmărire cu OpenTelemetry
  • Suite de evaluare în CI
  • Registre de prompturi și modele
  • Langfuse sau un instrument echivalent
Aplicație
  • Servicii TypeScript și Python
  • API-uri cu streaming
  • Portaluri existente, front-enduri Salesforce, SAP și Odoo

Mențiunea unei tehnologii descrie experiența noastră de inginerie. Nu implică un parteneriat cu producătorul ei și nici o recomandare din partea acestuia.

08 Exemplu

Un exemplu ilustrativ

Exemplu ilustrativ

Un asistent pentru direcția juridică a unui consiliu județean

01Situația
Specialiștii juridici răspund zilnic la întrebări ale celorlalte compartimente despre hotărârile consiliului județean și legislația națională aplicabilă. Caută manual în arhive și în texte consolidate, iar același tip de întrebare primește răspunsuri diferite.
02Ce am construi
Regăsire peste hotărârile consiliului județean și peste textele de lege folosite de compartiment, cu drepturile de acces preluate din sistemul de gestionare a documentelor și răspunsuri care citează hotărârea sau articolul aplicabil.
03Unde decid oamenii
Șeful compartimentului juridic aprobă setul de test și validează fiecare versiune care schimbă răspunsurile. Avizele și deciziile rămân la specialiști.
04Ce am măsura
Ponderea răspunsurilor care citează actul corect, rata de abținere la întrebările din afara domeniului și timpul petrecut pe o întrebare.

09 Pe sectoare

În sectorul dumneavoastră

  • Sector public și administrație

    Asistenți pentru funcționarii care instrumentează dosare și pentru cetățeni, care citează actul normativ, lucrează pe texte în limba română și înregistrează ce s-a regăsit și pentru cine.

  • Servicii financiare

    Asistenți pentru politici și proceduri, cu drepturi de acces stricte, trasabilitate completă și documentație de risc al modelelor pe care a doua linie de apărare o poate verifica.

  • Sănătate și științele vieții

    Regăsire în protocoale și în documentația produselor, cu limite clare: fără decizii clinice, iar datele sensibile rămân în medii aprobate.

România

Documente în limba română, un singur standard de evaluare

În multe organizații din România, procedurile locale sunt scrise în limba română, iar politicile grupului în limba engleză. Regulamentul IA stabilește un cadru comun în Uniunea Europeană, dar aplicarea lui rămâne națională. Un memorandum al Guvernului a propus ANCOM ca autoritate de supraveghere a pieței și punct unic de contact, iar ASF și BNR pentru sistemele cu grad ridicat de risc din sectorul financiar; desemnarea națională nu este încă adoptată definitiv (stadiul în toamna anului 2026). Prelucrarea datelor personale rămâne sub supravegherea ANSPDCP.

Ținem cont de asta încă din etapa de analiză: regăsire și evaluare pentru fiecare limbă, locul datelor stabilit pentru fiecare caz de utilizare, jurnalizare și documentație care răspund întrebărilor fiecărei autorități fără un sistem separat pentru fiecare țară. Proiectele finanțate prin Programul Europa digitală cer adesea exact acest tip de proiectare reutilizabilă și documentată.

Întrebări despre ingineria IA

Ce model recomandați?

Depinde de sarcină, de datele implicate și de cerințele de găzduire. De obicei combinăm modele: un model performant pentru pașii care cer raționament, modele mai mici sau găzduite de dumneavoastră pentru clasificare și extragere și implementări găzduite în UE acolo unde datele trebuie să rămână în Uniunea Europeană.

Gateway-ul păstrează alegerea reversibilă, astfel încât răspunsul se poate schimba odată cu modelele și prețurile.

Cât de precis va fi sistemul?

Nu vă comunicăm o precizie înainte de a o măsura pe datele dumneavoastră. Convenim împreună criteriile de calitate, construim un set de test și raportăm rezultatele față de el înainte de lansare și după fiecare modificare.

Modelele greșesc, așa că proiectul include mereu ce se întâmplă atunci când greșesc: abținere, pași de verificare și o cale către un om.

Vor fi folosite datele noastre pentru antrenarea modelului altcuiva?

Nu în arhitecturile pe care le proiectăm. Alegem servicii de modele ale căror condiții exclud antrenarea pe datele dumneavoastră de intrare sau găzduim modelele în mediul dumneavoastră, iar alegerea o documentăm pentru fiecare caz de utilizare, împreună cu echipa de securitate.

Se aplică Regulamentul IA cazului nostru de utilizare?

Vă ajutăm să înțelegeți ce obligații s-ar putea aplica, în funcție de cazul de utilizare și de rolul dumneavoastră de furnizor sau implementator, și proiectăm jurnalizarea, supravegherea și documentația în consecință, astfel încât consilierii dumneavoastră juridici să aibă faptele necesare pentru o concluzie.

Cum gestionați securitatea și datele sensibile?

FromNine deține certificarea ISO/IEC 27001. Limitele de acces, locul datelor și perioadele de păstrare se stabilesc înainte să construim, iar testarea adversarială pentru injectarea de prompturi și scurgerea de date face parte din procesul de lansare pe care îl punem în funcțiune.

Care este un prim pas rezonabil?

Un caz de utilizare cu un responsabil clar, un set limitat de surse și un set de test construit cu experții dumneavoastră. Obțineți un sistem funcțional și dovezi despre calitate, cost și latență, adică exact ce cere următoarea decizie de investiție.

Aduceți un caz de utilizare și întrebările lui cele mai grele

Vă arătăm cum l-am măsura înainte să vorbim despre cum îl construim.

Solicitați o discuțieAcces la cunoștințe