Inginerie IADate
Ce face de încredere căutarea în cunoștințele organizației
Un asistent care răspunde din propriile documente se demonstrează ușor, dar câștigă greu încrederea. Încrederea vine din cinci proprietăți pe care le puteți proiecta, testa și retesta: permisiuni, proveniență, actualitate, lacune recunoscute și calitate măsurată.
- Autor
- Echipa editorială FromNine
- Publicat
- Timp de lectură
- 6 min de lectură
Pe scurt
- Aplicați drepturile de acces în momentul căutării, pentru fiecare utilizator, pe baza sistemelor sursă. Nu vă bazați niciodată pe model ca să rețină un pasaj pe care l-a primit deja.
- Fiecare afirmație dintr-un răspuns trebuie să trimită la un pasaj pe care o persoană îl poate deschide și verifica în câteva secunde, cu data și statutul vizibile.
- Măsurați calitatea căutării și a răspunsurilor pe întrebări reale înainte de lansare și continuați să măsurați, pentru că se schimbă și conținutul, și modelele.
Cuprins
Problema demonstrației
Majoritatea asistenților pentru cunoștințe urmează același tipar, cunoscut ca generare augmentată prin regăsire („retrieval-augmented generation”, RAG) (se deschide un site extern): se caută pasajele care corespund unei întrebări, apoi un model lingvistic scrie un răspuns sprijinit pe acele pasaje. Pe un dosar atent selectat de cincizeci de documente, abordarea convinge în mai puțin de o săptămână.
În producție, situația arată altfel: douăzeci de ani de directoare partajate, wikiuri, tichete, contracte, proceduri și ordine interne, multe dintre ele duplicate, depășite sau confidențiale. În acest context, asistentul eșuează în două feluri. Dă un răspuns greșit și oamenii nu îl mai folosesc. Sau, mai rău, dă cu siguranță un răspuns greșit și oamenii acționează pe baza lui.
O căutare de încredere ține, așadar, mai puțin de model și mai mult de cinci proprietăți ale sistemului din jurul lui. Fiecare poate fi proiectată și, foarte important, testată.
Permisiuni: regăsiți doar ce are voie utilizatorul să citească
Regula este simplă: asistentul nu trebuie să arate nimănui un pasaj pe care persoana nu l-ar putea deschide în sistemul sursă. Contează locul în care se aplică regula. Dacă un pasaj ajunge la model, porniți de la ideea că poate apărea în răspuns. Permisiunile trebuie deci aplicate înainte de generare, în momentul regăsirii, pentru utilizatorul care pune întrebarea.
OWASP include atât divulgarea informațiilor sensibile (se deschide un site extern), cât și vulnerabilitățile vectorilor și ale reprezentărilor vectoriale (se deschide un site extern), inclusiv scurgerile peste limitele permisiunilor, printre riscurile principale ale aplicațiilor bazate pe modele lingvistice. În practică, de aici rezultă patru cerințe.
- Stocați drepturile de acces ale fiecărui document sursă împreună cu fiecare fragment din index, preluate din sistemul sursă, nu redefinite manual.
- Filtrați după aceste drepturi în momentul interogării, folosind identitatea utilizatorului autentificat, înainte de ordonare și de generare.
- Sincronizați modificările de permisiuni cel puțin la fel de repede ca modificările de conținut și stabiliți cât de repede trebuie să intre în vigoare retragerea unui drept.
- Testați cu roluri reale. „Poate un stagiar să găsească grilele de salarizare?” este o întrebare pentru setul de teste, nu pentru analiza de după un incident.
Proveniență: citări pe care o persoană le poate verifica
Fiecare afirmație dintr-un răspuns trebuie să trimită la pasajul din care provine: titlul documentului, versiunea sau data, responsabilul și un link care se deschide la locul potrivit. Arătați pasajul însuși, nu doar numele documentului, ca cititorul să vadă în câteva secunde dacă citarea susține propoziția.
Proiectați formatul răspunsului astfel încât textul nesusținut să iasă în evidență. Dacă niciun pasaj regăsit nu susține o propoziție, sistemul trebuie să o omită sau să o marcheze. Apoi verificați acest lucru automat: comparați fiecare pasaj citat cu afirmația pe care ar trebui să o susțină și extrageți eșantioane pentru verificare umană. Citările care există, dar nu susțin afirmația, sunt o eroare frecventă și discretă.
Actualitate și autoritate
Cunoștințele unei organizații au versiuni. Procedura veche privind deplasările și cea nouă răspund amândouă la întrebarea „pot rezerva un bilet la clasa business?” și dau răspunsuri diferite. Indexați metadatele care le deosebesc: data intrării în vigoare, statutul (proiect, aprobat, înlocuit) și responsabilul. Puneți pe primul loc documentele actuale și aprobate, excludeți-le pe cele înlocuite dacă utilizatorul nu cere istoricul și afișați data în fiecare citare.
Stabiliți pentru fiecare temă care sursă are autoritate. Regulamentul intern vine din portalul de resurse umane, nu dintr-un e-mail care citează versiunea de anul trecut. Stabiliți un ritm de reindexare pentru fiecare sursă, de la aproape timp real pentru datele din dosare la zilnic pentru un wiki, și monitorizați-l: un index învechit produce răspunsuri care par corecte și nu sunt.
Lacune recunoscute: „Nu am găsit acest lucru”
Adesea, cel mai valoros răspuns este o lacună recunoscută deschis. Modelele lingvistice pot produce afirmații fluente pe care nu le susține nimic, fenomen pe care NIST îl numește confabulație (se deschide un site extern) în profilul său pentru IA generativă. Sprijinirea pe pasaje regăsite reduce fenomenul, dar nu îl elimină. OWASP tratează efectul din aval, oameni care acționează pe baza unor rezultate false, ca risc de sine stătător, sub denumirea de dezinformare („misinformation”) (se deschide un site extern).
Stabiliți un prag de relevanță sub care sistemul spune că nu a găsit nicio sursă sigură și sugerează unde se poate întreba în schimb. La întrebările despre proceduri, drepturi sau obligații, nu lăsați modelul să completeze golurile din cunoștințe generale. Apoi urmăriți rata întrebărilor fără răspuns pe teme. În primele luni, această listă este adesea cel mai util rezultat al întregului proiect: le arată responsabililor de conținut exact unde lipsește documentația.
Arhitectura din spatele celor cinci proprietăți
Nimic din toate acestea nu cere o tehnologie exotică. Cere ca permisiunile, metadatele și verificările să fie părți de bază ale fluxului, nu funcții adăugate după demonstrație.
Figura 1
Flux de lucru ilustrativCitiți diagrama ca text
Documentele sunt preluate din sistemele sursă împreună cu drepturile de acces și cu metadate precum data, statutul și responsabilul, apoi sunt indexate.
O întrebare sosește împreună cu identitatea utilizatorului autentificat. Un filtru de permisiuni elimină fiecare pasaj pe care acel utilizator nu are voie să îl citească, înainte ca ceva să ajungă la model.
Modelul redactează un răspuns cu citări ale pasajelor rămase. O verificare de fundamentare compară fiecare afirmație cu pasajul citat. Utilizatorul primește fie un răspuns cu citări, fie o declarație onestă că nu s-a găsit nicio sursă sigură.
Datele cu caracter personal merită o atenție explicită. Un index de documente rămâne o prelucrare a datelor personale din ele, deci se aplică principiile RGPD privind limitarea scopului și reducerea la minimum a datelor (se deschide un site extern) (articolul 5). Lăsați deoparte sursele de care cazul de utilizare nu are nevoie, asigurați-vă că ștergerile dintr-un sistem sursă ajung și în index și includeți indexul atunci când răspundeți la o cerere de acces.
Calitate măsurată, înainte și după lansare
Încrederea nu se evaluează încercând câteva întrebări într-o ședință. Stabiliți criteriile de calitate împreună cu cei care răspund de conținut și măsurați fiecare strat separat, ca să știți unde trebuie corectată o problemă.
| Strat | Întrebare | Cum se măsoară |
|---|---|---|
| Regăsire | Au fost găsite pasajele potrivite? | Recall și precizie pe un set etichetat de întrebări reale |
| Fundamentare | Este fiecare afirmație susținută de citarea ei? | Verificări automate între afirmație și pasaj, plus verificare umană prin eșantionare |
| Răspuns | Este răspunsul corect, complet și util? | Evaluarea unui eșantion de către experți, după criterii convenite |
| Acces | A văzut cineva ceva ce nu avea voie să vadă? | Un set de teste de permisiuni pe roluri, rulat la fiecare modificare a indexului sau a unui conector |
| Utilizare | Se bazează oamenii pe el și unde eșuează? | Feedback, rata întrebărilor fără răspuns pe teme, întrebări suplimentare, escaladări |
Construiți setul de teste din întrebări reale: jurnalele de căutare, tichetele de helpdesk, întrebările colegilor noi. Câteva sute de întrebări, cu răspunsuri convenite cu responsabilii de conținut, sunt un început practic. Rulați întregul set la fiecare schimbare, fie că este vorba de un model nou, de o nouă strategie de fragmentare sau de o sursă nouă. Calitatea derivă pe tăcute când se schimbă conținutul, iar doar un set fix de teste face această derivă vizibilă.
Cum arată încrederea pentru utilizator
Pentru cei care îl folosesc, totul se reduce la câteva comportamente observabile. Asistentul răspunde doar din documentele pe care au voie să le citească. Fiecare afirmație are o citare pe care o pot deschide. Văd cât de actuală este o sursă. Li se spune clar când nu există un răspuns sigur. Și știu că cineva măsoară calitatea, pentru că pot raporta un răspuns greșit și pot vedea că a fost corectat.
Rezultatele IA pot fi în continuare greșite, iar unele întrebări merită o persoană, nu o căutare. A proiecta deschis pentru această situație nu este o slăbiciune a sistemului. Este ceea ce îi face pe oameni dispuși să se bazeze pe el în rest.
Surse
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) (consultat la )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (consultat la )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (consultat la )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (consultat la )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (consultat la )
- EUR-Lex. Regulamentul (UE) 2016/679 (Regulamentul general privind protecția datelor), articolul 5 (consultat la )
Citiți în continuare
- ServiciuInginerie IA și GenAIRegăsirea informațiilor, strategia de modele, evaluare și LLMOps pentru IA generativă care rezistă în producție.
- SoluțieAcces la cunoștințeRăspunsuri din propriile documente, limitate la ce are voie să vadă fiecare persoană, cu o sursă pentru fiecare afirmație.
- AnalizăUnde au nevoie agenții IA de aprobare umanăUn agent poate pregăti aproape orice. O metodă practică pentru a decide ce acțiuni finalizează singur și pentru care este nevoie de acordul unei persoane.
- AnalizăRegulamentul IA pentru instituțiile publice: ce pregătiți până în decembrie 2027După modificările din 2026, Regulamentul IA aplică regulile pentru sistemele cu grad ridicat de risc din decembrie 2027, dar o mare parte din el se aplică deja. Un plan de pregătire cu termene, pentru autoritățile și instituțiile publice din România.
Vreți să faceți căutabile cunoștințele organizației?
Construim asistenți pentru cunoștințe pe sursele pe care le aveți deja, cu permisiuni, citări și un set de teste convenit cu responsabilii de conținut încă din primul sprint.