Inġinerija tal-AIData
X’jagħmel affidabbli t-tfittxija fl-għarfien tal-organizzazzjoni
Li twieġeb mistoqsijiet mid-dokumenti tiegħek huwa faċli biex turih u diffiċli biex tafdah. Il-fiduċja ġejja minn ħames karatteristiċi li tista’ tiddisinja, tittestja u tibqa’ tittestja: permessi, oriġini, aġġornament, lakuni onesti u kwalità mkejla.
- Awtur
- It-tim editorjali ta’ FromNine
- Ippubblikat
- Ħin tal-qari
- Qari ta’ 5 minuti
Fil-qosor
- Infurza d-drittijiet tal-aċċess fil-mument tat-tfittxija, għal kull utent, mis-sistemi tas-sors. Qatt tistrieħ fuq il-mudell biex iżomm lura silta li diġà ngħatat lilu.
- Kull dikjarazzjoni fi tweġiba għandha tindika silta li persuna tista’ tiftaħ u tivverifika f’sekondi, bid-data u l-istatus tagħha viżibbli.
- Kejjel il-kwalità tat-tfittxija u tat-tweġibiet kontra mistoqsijiet reali qabel it-tnedija, u kompli kejjel, għax il-kontenut u l-mudelli jinbidlu taħt saqajk.
Werrej
Il-problema tad-dimostrazzjoni
Il-biċċa l-kbira tal-assistenti tal-għarfien isegwu l-istess mudell, magħruf bħala ġenerazzjoni msaħħa bl-irkupru (jiftaħ sit estern) (RAG): isibu s-siltiet li jaqblu ma’ mistoqsija, imbagħad mudell lingwistiku jikteb tweġiba bbażata fuq dawk is-siltiet. Fuq folder magħżul ta’ ħamsin dokument, dan jaħdem b’mod konvinċenti fi ġimgħa.
Fil-produzzjoni l-istampa hija differenti. Għoxrin sena ta’ drives kondiviżi, wikis, tickets, kuntratti, proċeduri u ċirkolari, ħafna minnhom duplikati, skaduti jew kunfidenzjali. F’dak l-ambjent l-assistent ifalli b’żewġ modi. Jagħti tweġiba żbaljata u n-nies jieqfu jużawh. Jew, agħar, jagħti tweġiba żbaljata b’ħafna sigurtà u n-nies jaġixxu fuqha.
Għalhekk tfittxija affidabbli fl-għarfien tiddependi inqas mill-mudell u aktar minn ħames karatteristiċi tas-sistema ta’ madwaru. Kull waħda tista’ tiġi ddisinjata u, l-aktar importanti, ittestjata.
Permessi: ġib biss dak li l-utent jista’ jaqra
Ir-regola hija sempliċi: l-assistent qatt ma għandu juri lil xi ħadd silta li ma setax jiftaħ fis-sistema tas-sors. Dak li jgħodd huwa fejn tiġi infurzata. Jekk silta tasal għand il-mudell, assumi li tista’ tidher fit-tweġiba. Għalhekk il-permessi jridu jiġu applikati qabel il-ġenerazzjoni, fil-mument tat-tfittxija, għall-utent li qed jistaqsi.
L-OWASP jelenka kemm l-iżvelar ta’ informazzjoni sensittiva (jiftaħ sit estern) kif ukoll id-dgħufijiet fil-vetturi u fl-embeddings (jiftaħ sit estern), inkluż it-tnixxija bejn limiti ta’ permessi differenti, fost ir-riskji ewlenin tal-applikazzjonijiet tal-mudelli lingwistiċi. Fil-prattika, dan iwassal għal erba’ rekwiżiti.
- Aħżen id-drittijiet tal-aċċess ta’ kull dokument tas-sors ma’ kull biċċa fl-indiċi, meħuda mis-sistema tas-sors u mhux definiti mill-ġdid bl-idejn.
- Iffiltra fuq dawk id-drittijiet fil-ħin tal-mistoqsija, bl-identità tal-utent li daħal, qabel il-klassifikazzjoni u l-ġenerazzjoni.
- Issinkronizza l-bidliet fil-permessi mill-inqas malajr daqs il-bidliet fil-kontenut, u aqbel kemm malajr dritt revokat irid jieħu effett.
- Ittestja b’rwoli reali. “Trainee jista’ jsib l-iskali tas-salarji?” imissu jkun fis-sett tat-testijiet, mhux f’rieżami wara inċident.
Oriġini: ċitazzjonijiet li persuna tista’ tivverifika
Kull dikjarazzjoni fi tweġiba għandha tindika s-silta li ġiet minnha: it-titlu tad-dokument, il-verżjoni jew id-data, is-sid, u link li tiftaħ fil-post it-tajjeb. Uri s-silta nnifisha, mhux biss l-isem tad-dokument, biex min jaqra jara f’sekondi jekk iċ-ċitazzjoni ssostnix is-sentenza.
Iddisinja l-format tat-tweġiba b’mod li t-test mhux sostnut jispikka. Jekk l-ebda silta misjuba ma ssostni sentenza, is-sistema għandha tħalliha barra jew timmarkaha. Imbagħad iċċekkja dan awtomatikament: qabbel kull silta ċċitata mad-dikjarazzjoni li suppost issostni, u agħti kampjun tar-riżultati għal rieżami minn persuna. Ċitazzjonijiet li jeżistu imma ma jsostnux id-dikjarazzjoni huma żball komuni u siekt.
Aġġornament u awtorità
L-għarfien ta’ organizzazzjoni għandu verżjonijiet. Iċ-ċirkolari l-qadima u dik il-ġdida dwar il-vjaġġi tax-xogħol it-tnejn jaqblu mal-mistoqsija “nista’ nibbukkja business class?”, u jagħtu tweġibiet differenti. Indiċja l-metadata li tiddistingwihom: id-data tad-dħul fis-seħħ, l-istatus (abbozz, approvat, sostitwit) u s-sid. Poġġi l-ewwel id-dokumenti attwali u approvati, eskludi dawk sostitwiti sakemm l-utent ma jitlobx l-istorja, u uri d-data f’kull ċitazzjoni.
Iddeċiedi għal kull suġġett liema sors huwa l-awtorità. Il-proċedura tar-riżorsi umani tiġi mill-portal tar-riżorsi umani, mhux minn email li tikkwota l-verżjoni tas-sena l-oħra. Stabbilixxi ritmu ta’ indiċjar mill-ġdid għal kull sors, minn kważi f’ħin reali għad-data tal-każijiet sa kuljum għal wiki, u mmonitorjah: indiċi skadut jipproduċi tweġibiet li jidhru tajbin u mhumiex.
Lakuni onesti: “Ma sibtx dan”
Ħafna drabi l-aktar tweġiba siewja hija lakuna onesta. Il-mudelli lingwistiċi jistgħu jipproduċu dikjarazzjonijiet fluwenti li ma huma sostnuti minn xejn, fenomenu li n-NIST isejjaħlu konfabulazzjoni (jiftaħ sit estern) fil-profil tiegħu tal-AI ġenerattiva. L-ibbażar fuq siltiet misjuba jnaqqas dan; ma jneħħihx. L-OWASP jittratta l-effett ta’ wara, nies li jaġixxu fuq output falz, bħala riskju waħdu taħt id-diżinformazzjoni (jiftaħ sit estern).
Stabbilixxi limitu ta’ rilevanza li taħtu s-sistema tgħid li ma sabet l-ebda sors affidabbli, u tissuġġerixxi fejn tista’ tistaqsi minflok. Għal mistoqsijiet dwar politika, drittijiet jew obbligi, tħallix lill-mudell jimla l-lakuni mill-għarfien ġenerali tiegħu. Imbagħad segwi r-rata ta’ “l-ebda tweġiba” skont is-suġġett. Fl-ewwel xhur, dik il-lista ħafna drabi hija l-aktar riżultat utli tal-proġett kollu: turi lis-sidien tal-kontenut eżatt fejn tonqos id-dokumentazzjoni.
L-arkitettura wara l-ħames karatteristiċi
Xejn minn dan ma jeħtieġ teknoloġija eżotika. Jeħtieġ li l-permessi, il-metadata u l-kontrolli jkunu partijiet sħaħ tal-pipeline, mhux funzjonijiet miżjuda wara d-dimostrazzjoni.
Figura 1
Fluss tax-xogħol illustrattivAqra d-dijagramma bħala test
Id-dokumenti jittieħdu mis-sistemi tas-sors flimkien mad-drittijiet tal-aċċess u l-metadata tagħhom, bħad-data, l-istatus u s-sid, u jiġu indiċjati.
Mistoqsija tasal bl-identità tal-utent li daħal. Filtru tal-permessi jneħħi kull silta li dak l-utent ma jistax jaqra, qabel ma xejn jasal għand il-mudell.
Il-mudell jabbozza tweġiba b’ċitazzjonijiet tas-siltiet li jibqgħu. Kontroll tal-bażi jqabbel kull dikjarazzjoni mas-silta ċċitata. L-utent jirċievi jew tweġiba b’ċitazzjonijiet jew dikjarazzjoni onesta li ma nstab l-ebda sors affidabbli.
Id-data personali teħtieġ attenzjoni espliċita. Indiċi tad-dokumenti xorta huwa pproċessar tad-data personali li fihom, għalhekk japplikaw il-prinċipji tal-GDPR tal-limitazzjoni tal-għan u l-minimizzazzjoni tad-data (jiftaħ sit estern) (l-Artikolu 5); f’Malta, l-IDPC jissorvelja l-GDPR u l-Att dwar il-Protezzjoni u l-Privatezza tad-Data (Kap. 586). Ħalli barra s-sorsi li l-każ ta’ użu ma jeħtieġx, żgura li t-tħassir f’sistema tas-sors jasal fl-indiċi, u inkludi l-indiċi meta twieġeb talba għal aċċess.
Kwalità mkejla, qabel u wara t-tnedija
Ma tistax tivvaluta l-affidabbiltà billi tipprova ftit mistoqsijiet f’laqgħa. Aqbel fuq kriterji ta’ kwalità mas-sidien tal-kontenut u kejjel kull saff għalih, biex tkun taf fejn issewwi problema.
| Saff | Mistoqsija | Kif tkejjel |
|---|---|---|
| Tfittxija | Ħarġu s-siltiet it-tajbin? | Recall u preċiżjoni kontra sett immarkat ta’ mistoqsijiet reali |
| Bażi | Kull dikjarazzjoni hija sostnuta miċ-ċitazzjoni tagħha? | Kontrolli awtomatiċi tad-dikjarazzjoni kontra s-silta, flimkien ma’ rieżami minn persuna fuq kampjun |
| Tweġiba | It-tweġiba hija korretta, kompluta u utli? | Rieżami espert ta’ kampjun kontra kriterji miftiehma |
| Aċċess | Xi ħadd ra xi ħaġa li ma kellux jara? | Sett ta’ testijiet tal-permessi għal kull rwol, imħaddem f’kull bidla fl-indiċi jew f’konnettur |
| Użu | In-nies jistrieħu fuqu, u fejn ifalli? | Rispons, rata ta’ “l-ebda tweġiba” skont is-suġġett, mistoqsijiet ta’ segwitu, eskalazzjonijiet |
Ibni s-sett tat-testijiet minn mistoqsijiet reali: ir-reġistri tat-tfittxija, it-tickets tal-helpdesk, il-mistoqsijiet li jagħmlu l-kollegi l-ġodda. Fi dipartiment tal-Gvern dawn huma l-mistoqsijiet dwar proċeduri u ċirkolari; f’istituzzjoni ta’ kreditu, dawk dwar il-manwali tal-konformità. Ftit mijiet ta’ mistoqsijiet b’tweġibiet miftiehma mas-sidien tal-kontenut huma bidu prattiku. Ħaddem is-sett kollu f’kull bidla, kemm jekk hija mudell ġdid, strateġija ġdida biex tqassam id-dokumenti, jew sors ġdid. Il-kwalità tinbidel bil-moħbi meta jinbidel il-kontenut, u sett ta’ testijiet fiss biss jagħmel dik il-bidla viżibbli.
Kif tidher l-affidabbiltà għal utent
Għan-nies li jużawh, dan kollu jitqassar fi ftit imġiba li tista’ tosservaha. L-assistent iwieġeb biss minn dokumenti li għandhom permess jaqraw. Kull dikjarazzjoni għandha ċitazzjoni li jistgħu jiftħu. Jistgħu jaraw kemm hu aġġornat sors. Jingħataw għarfien ċar meta ma jkunx hemm tweġiba affidabbli. U jafu li xi ħadd qed ikejjel il-kwalità, għax jistgħu jirrappurtaw tweġiba żbaljata u jarawha tissewwa.
L-output tal-AI xorta jista’ jkun żbaljat, u xi mistoqsijiet jixirqilhom persuna aktar milli tfittxija. Li tiddisinja għal dan b’mod miftuħ mhix dgħufija tas-sistema. Huwa dak li jagħmel lin-nies lesti jistrieħu fuqha għall-bqija.
Sorsi
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) (aċċessat )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (aċċessat )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (aċċessat )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (aċċessat )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) (aċċessat )
- EUR-Lex. Regolament (UE) 2016/679 (ir-Regolament Ġenerali dwar il-Protezzjoni tad-Data), l-Artikolu 5 (aċċessat )
Kompli aqra
- ServizzInġinerija tal-AI u GenAITfittxija fis-sorsi, strateġija tal-mudelli, evalwazzjoni u LLMOps għal AI ġenerattiva li żżomm fil-produzzjoni.
- SoluzzjoniAċċess għall-għarfienTweġibiet mid-dokumenti tiegħek stess, limitati għal dak li kull persuna tista’ tara, b’sors għal kull stqarrija.
- ArtikluFejn l-aġenti tal-AI jeħtieġu l-approvazzjoni ta’ persunaAġent jista’ jħejji kważi kollox. Mod prattiku biex tiddeċiedi liema azzjonijiet jista’ jlesti waħdu u liema jeħtieġu li persuna tgħid iva.
- ArtikluL-Att dwar l-Intelliġenza Artifiċjali għall-entitajiet pubbliċi: x’tipprepara sa Diċembru 2027Kif emendat fl-2026, l-Att japplika r-regoli għas-sistemi b’riskju għoli minn Diċembru 2027, imma ħafna minnu diġà japplika. Pjan ta’ preparazzjoni bid-dati għall-implimentaturi pubbliċi f’Malta.
Trid tagħmel l-għarfien tiegħek faċli biex tfittxu?
Nibnu assistenti tal-għarfien fuq is-sorsi li diġà għandek, b’permessi, ċitazzjonijiet u sett ta’ testijiet miftiehem mas-sidien tal-kontenut tiegħek mill-ewwel sprint.