Preskočite na glavno vsebino
FromNine
Meni

UI in podatki

Generativna umetna inteligenca (UI), ki zdrži v produkciji.

Gradimo aplikacije generativne UI na vašem znanju in podatkih: iskanje po virih upošteva pravice dostopa, vrednotenje odloča o vsaki izdaji, stroški, kakovost in odzivni čas pa so ves čas vidni.

Za organizacije v Sloveniji, ki eno platformo UI uporabljajo v več državah, jezikih in nacionalnih pravilih.

Opišite svoj projektDostop do znanja
Razvoj UI in generativna UI: plasti zmogljivostiŠtiri plasti, naložene druga na drugo. Od zgoraj navzdol: iskanje po vaših virih, prehod za modele, vrednotenje in varovala ter aplikacija, v kateri delajo vaši uporabniki. Ena pot vodi od virov do aplikacije.01Iskanje po vaših virih02Prehod za modele in usmerjanje03Vrednotenje in varovala04Aplikacija v produkciji
  1. 01Odgovori z navedbo virov; kadar dokazov ni, se sistem odgovora vzdrži
  2. 02Referenčni testni nabor in regresijski preizkusi, dogovorjeni z vašimi ekipami pred uvedbo
  3. 03Usmerjanje med modeli in proračuni, pri katerih sta strošek in odzivni čas vsake zahteve vidna

01 Težave

Kje se generativna UI ustavi

Model je redko najtežji del. Večino projektov ustavi vse, kar je okoli njega.

  1. 01

    Pilotni projekt je navdušil, nihče pa ni znal povedati, ali je dober

    Kakovost je ocenilo nekaj ljudi z nekaj vprašanji. Testnega nabora ni, zato je vsaka sprememba poziva ali nadgradnja modela loterija.

  2. 02

    Asistent ljudem pokaže dokumente, ki jih ne bi smeli videti

    Vsebina je bila indeksirana brez pravic dostopa. Varnostna služba in svet delavcev ustavita uvajanje, in prav imata.

  3. 03

    Stroški rastejo hitreje od uporabe

    Vsaka zahteva gre k največjemu modelu z najdaljšim kontekstom. Nihče ne pozna stroška enega odgovora, zato ga nihče ne more upravljati.

  4. 04

    Odgovori zvenijo pravilno, pa niso

    Iskanje vrača skoraj ustrezne odlomke, model vrzeli tekoče zapolni, uporabniki pa po tretji samozavestni napaki izgubijo zaupanje.

02 Kaj zagotovimo

Kaj zagotovimo

  1. 01 Iskanje po virih in sistemi znanja v organizaciji

    Iskanje zasnujemo za vsak vir posebej: kako se vsebina razčleni in razdeli na odseke, kako se združita leksikalno in vektorsko iskanje ter kako pravice dostopa spremljajo vsak odlomek. To je osnova za dostop do znanja.

    Kaj naredimo

    • Popis virov z lastniki, oblikami zapisa in modeli dostopa
    • Strategija razdeljevanja na odseke in metapodatkov za vsako vrsto dokumenta
    • Hibridno leksikalno in vektorsko iskanje s ponovnim razvrščanjem
    • Iskanje, ki prevzame pravice dostopa iz izvornih sistemov

    Kaj prejmete

    • Cevovodi za zajem vsebin z zaznavanjem sprememb
    • Storitev iskanja z navajanjem virov in pravili za vzdržanje odgovora
    • Poročilo o kakovosti iskanja za vsak vir

  2. 02 Izbira modelov brez vezave na enega ponudnika

    Prehod za modele med vašimi aplikacijami in modeli omogoča usmerjanje glede na nalogo, nadomestno pot ob izpadu ponudnika in zamenjavo modelov, ko se spremenijo cene in zmogljivosti.

    Kaj naredimo

    • Možnosti med gostujočimi vodilnimi modeli, namestitvami v EU in odprtimi modeli v lastnem okolju
    • Usmerjanje glede na nalogo, občutljivost podatkov in strošek
    • Nadomestne poti, časovne omejitve, predpomnjenje in omejitve števila zahtev
    • Pogoji obdelave podatkov, pregledani z vašo pravno in varnostno službo

    Kaj prejmete

    • Prehod za modele s pravili usmerjanja v konfiguraciji
    • Zapis odločitve o modelu za vsak primer uporabe
    • Proračun stroškov in odzivnega časa za vsako vrsto zahteve

  3. 03 Vrednotenje kot inženirska disciplina

    Merila kakovosti dogovorimo z ljudmi, ki so lastniki procesa, in jih pretvorimo v testne nabore, ki se izvedejo ob vsaki spremembi. Preverjanja, ki jih ocenjuje model, umerimo s človeškim pregledom, preden se nanje zanesemo.

    Kaj naredimo

    • Referenčni testni nabori za vsak primer uporabe, pripravljeni s strokovnjaki s področja
    • Ločeno vrednotenje iskanja in generiranja pred uvedbo
    • Napadalno testiranje za vrivanje navodil in uhajanje podatkov
    • Sprotno vrednotenje iz povratnih informacij in vzorčnega pregleda v produkciji

    Kaj prejmete

    • Nabor testov v CI kot pogoj za izdajo
    • Merila kakovosti, ki jih potrdi lastnik procesa
    • Ugotovitve napadalnega testiranja in ukrepi

  4. 04 LLMOps in opazljivost

    Sledenje od vprašanja do najdenih odlomkov, klica modela in odgovora, z različicami pozivov in modelov, ki jih vodimo kot kodo, in s proračuni, ki veljajo tudi v produkciji.

    Kaj naredimo

    • Sledenje in strukturirano beleženje vsake zahteve
    • Različice pozivov, modelov in indeksov
    • Semantično in natančno predpomnjenje, kjer je varno
    • Spremljanje odmika in kakovosti z opozorili

    Kaj prejmete

    • Nadzorne plošče za kakovost, stroške in odzivni čas
    • Postopek za incidente, značilne za UI
    • Navodila za posodobitve modelov in indeksov

  5. 05 Upravljanje, vgrajeno v zasnovo

    Načrtujemo ob upoštevanju Akta o umetni inteligenci, od razvrstitve tveganja in vaše vloge ponudnika ali uvajalca do beleženja, človeškega nadzora in dokumentacije. Pravna ocena ostane pri vaših pravnih svetovalcih.

    Kaj naredimo

    • Razvrstitev primera uporabe in obveznosti glede na vlogo
    • Prispevek k oceni učinka v zvezi z varstvom podatkov po GDPR
    • Zasnova beleženja in človeškega nadzora
    • Dokumentacija modela in sistema, shranjena skupaj s kodo

    Kaj prejmete

    • Paket sistemske dokumentacije
    • Zasnova beleženja in hrambe
    • Postopek nadzora za vsak primer uporabe

  6. 06 Dodatno učenje in razumevanje dokumentov, kadar to pokaže vrednotenje

    Dodatno učenje modelov, destilacija in večmodalno razumevanje dokumentov so orodja za določene vrzeli. Uporabimo jih, ko nabor testov pokaže, da iskanje in pozivi ne zadostujejo, in ne prej.

    Kaj naredimo

    • Analiza vrzeli na podlagi rezultatov vrednotenja
    • Načrt priprave in označevanja podatkov
    • Destilacija v manjše modele zaradi stroškov ali odzivnega časa
    • Izluščanje z upoštevanjem postavitve za skenirane in zahtevne dokumente

    Kaj prejmete

    • Primerjalno vrednotenje pred spremembo in po njej
    • Sledljivost podatkov za učenje
    • Odločitev, ali rešitev obdržimo, vrnemo na prejšnje stanje ali umaknemo

03 Arhitektura

Ponazoritvena referenčna arhitektura

Večina sistemov generativne UI, ki jih gradimo za organizacije, ima enako obliko: iskanje po vaših virih, prehod za modele, varovala na obeh straneh modela in pod vsem tem zanko vrednotenja in opazljivosti, ki odloča, kaj gre lahko v produkcijo.

Filter pravic dostopa je v iskanju, ne v uporabniškem vmesniku. Če oseba dokumenta ne more odpreti v izvornem sistemu, njegovi odlomki v njenem imenu nikoli ne pridejo do modela.

Plasti na sliki

Viri
Shrambe dokumentov, wikiji in poslovni sistemi ter ponudnik identitete, ki ve, kdo sme videti kaj.
Iskanje
Zajem, hibridni indeks, ponovno razvrščanje in filter pravic dostopa.
Modeli
Prehod, ki usmerja med gostujočimi modeli, modeli v EU in modeli v lastnem okolju, z nadomestnimi potmi in predpomnjenjem.
Aplikacija
Odgovori z navedbo virov, vzdržanje, kadar dokazov ni, in varovala na vhodu in izhodu.
Delovanje in izboljšave
Referenčni nabori, regresijski testi, sledi in proračuni. Sledi iz produkcije napajajo naslednji testni nabor.
Ponazoritveni primer

  1. Viri

    • Shrambe dokumentov in wikiji
    • Poslovni sistemi
    • Ponudnik identitete

  2. Iskanje

    • Zajem in razdelitev na odseke
    • Hibridni indeks
    • Filter pravic dostopa
    • Iskanje in razvrščanje

  3. Modeli

    • Prehod za modele
    • Gostujoči modeli, modeli v EU in v lastnem okolju
    • Varovala za vhod in izhod

  4. Aplikacija

    • Aplikacija z navedbo virov

  5. Delovanje in izboljšave

    • Referenčni nabori in regresijski testi
    • Sledi, proračuni stroškov in odzivnega časa
Iskanje, prehod za modele in zanka vrednotenja

Ponazoritvena arhitektura, ne sistem stranke.

Preberite diagram kot besedilo

Glavna pot vodi od shramb dokumentov prek zajema, hibridnega indeksa, iskanja s ponovnim razvrščanjem in prehoda za modele do aplikacije.

Tudi poslovni sistemi dovajajo vsebine v zajem. Ponudnik identitete napaja filter pravic dostopa, ki omejuje iskanje. Varovala preverjajo vhod in izhod aplikacije. Prehod usmerja k gostujočim vodilnim modelom, namestitvam v EU in odprtim modelom v lastnem okolju.

Spodaj sta nabor testov z referenčnimi nabori in regresijskimi preizkusi ter opazljivost s sledmi in proračuni stroškov in odzivnega časa. Sledi iz produkcije napajajo nabor testov.

04 Premisleki in omejitve

Tehnični premisleki in omejitve

  • Kakovost se meri, ne obljublja

    Kako to rešujemo

    Merila kakovosti dogovorimo z lastniki vaših procesov in rezultate UI preverimo glede nanje pred vsako izdajo in po njej.

    Iskanje in generiranje vrednotimo ločeno, zato napaka pokaže na svoj vzrok.

    Omejitve in odvisnosti

    Rezultati UI so lahko napačni. Zato za negotove primere načrtujemo korake pregleda, sistem pa se vzdrži odgovora, kadar dokazov ni.

    Testni nabor je dober le toliko, kolikor so dobri strokovnjaki, ki ga pomagajo pripraviti. Njihov čas potrebujemo že na začetku.

  • Pravice dostopa potujejo z vsebino

    Kako to rešujemo

    Pravice dostopa zajamemo ob zajemu vsebine in jih ob vsaki poizvedbi uveljavimo prek vašega ponudnika identitete.

    Omejitve in odvisnosti

    Kadar izvorni sistemi hranijo pravice tako, da jih ni mogoče zanesljivo prebrati, takšna vsebina ostane zunaj obsega, dokler to ni mogoče.

    Vsebina, ki je v viru preveč odprta, ostane preveč odprta. Iskanje jo naredi lažje dostopno, zato je prvi korak včasih čiščenje pravic.

  • Strošek in odzivni čas sta vhodna podatka zasnove

    Kako to rešujemo

    Vsaka vrsta zahteve dobi proračun. Usmerjanje, predpomnjenje in velikost konteksta prilagodimo proračunu, nadzorne plošče pa pokažejo, kam gre denar.

    Omejitve in odvisnosti

    Cene ponudnikov in omejitve števila zahtev se spreminjajo zunaj vašega vpliva. Prehod vam omogoči odziv, spremembe cene pa ne more izničiti.

  • Modeli se spreminjajo pod vami

    Kako to rešujemo

    Modeli so vezani na različico in vsaka nadgradnja gre skozi celoten nabor testov, preden pride do uporabnikov.

    Omejitve in odvisnosti

    Gostujoče modele ponudniki včasih umaknejo v kratkem roku. Za vsak primer uporabe načrtujemo alternativo, ta načrt pa mora odobriti lastnik.

05 Kako delamo

Kako delamo

Vrstni red je pomemben: najprej se odločimo, kako bomo merili, šele nato, kaj bomo zgradili.

  1. 01

    Opredelimo primer uporabe

    Kdo ga uporablja, katere odločitve podpira, katerih virov se sme dotikati in koliko stane napačen odgovor.

    RezultatOpis primera uporabe in razvrstitev tveganja

  2. 02

    Pripravimo referenčni nabor

    Resnična vprašanja in pričakovani odgovori, zbrani z vašimi strokovnjaki, vključno s tistimi, na katera sistem ne sme odgovoriti.

    RezultatTestni nabor z različicami

  3. 03

    Najprej uredimo iskanje

    Zajem, indeks in filter pravic dostopa prilagajamo, dokler kakovost iskanja ne doseže dogovorjene ravni.

    RezultatPoročilo o kakovosti iskanja

  4. 04

    Izdaja s preverjanjem

    Generiranje, varovala in prehod gredo v produkcijo šele, ko nabor testov v CI uspešno prestane preverjanje.

    RezultatIzdaja z dokazi vrednotenja

  5. 05

    Delovanje in izboljšave

    Sledi, vzorčni pregled in povratne informacije uporabnikov napajajo naslednji testni nabor in naslednjo izdajo.

    RezultatMesečni pregled kakovosti, stroškov in odzivnega časa

06 Človeški nadzor

Kje odloča človek

Generativna UI pripravlja osnutke, išče in predlaga. Ljudje odločajo, kaj sme videti, kaj šteje kot dobro in kaj se zgodi, ko ni prepričana.

  • Kakovost potrdi lastnik

    Merila kakovosti in dokaze za izdajo odobri lastnik posameznega primera uporabe, ne le izvedbena ekipa.

  • Negotovi odgovori gredo k človeku

    Pod dogovorjenim pragom zanesljivosti se sistem vzdrži odgovora ali vprašanje preusmeri imenovani ekipi.

  • O dostopu odloča vir

    Kdo sme videti dokument, se določi v izvornem sistemu in pri vašem ponudniku identitete, nikoli v plasti UI.

  • Povratne informacije spremenijo sistem

    Uporabniki lahko odgovore označijo. Oznake pregledajo ljudje, potrjene napake pa postanejo testni primeri.

07 Tehnologije

Tehnologije, s katerimi delamo

Iskanje
  • OpenSearch in Elasticsearch
  • PostgreSQL s pgvector
  • Azure AI Search
  • Modeli za ponovno razvrščanje (cross-encoder)
Modeli
  • Gostujoči vodilni modeli
  • Upravljane storitve modelov v regijah EU
  • Odprti modeli na vLLM
  • Modeli vektorskih predstavitev za posamezne jezike
Vrednotenje in delovanje
  • Sledenje z OpenTelemetry
  • Nabori testov v CI
  • Registri pozivov in modelov
  • Langfuse ali enakovredno orodje
Aplikacija
  • Storitve v TypeScriptu in Pythonu
  • Pretočni API-ji
  • Obstoječi portali in uporabniški vmesniki Salesforce, SAP in Odoo

Navedba tehnologije opisuje naše inženirske izkušnje. Ne pomeni partnerstva z njenim ponudnikom ali njegove podpore.

08 Primer

Ponazoritveni primer

Ponazoritveni primer

Asistent za odloke in interne akte občine

01Izhodišče
Uslužbenci občine iščejo odgovore v odlokih, pravilnikih in internih aktih, ki so shranjeni na več mestih. Na isto vprašanje strank dobijo različne odgovore, odvisno od tega, kdo jih preveri.
02Kaj bi zgradili
Iskanje po odlokih, internih aktih in navodilih občine, s pravicami dostopa, prevzetimi iz sistema za upravljanje dokumentov, in odgovori, ki navajajo veljavni akt in člen.
03Kje odloča človek
Vodja pravne službe odobri testni nabor in vsako izdajo, ki spremeni odgovore. Odgovor stranki pripravi in podpiše uradna oseba.
04Kaj bi merili
Delež odgovorov, ki navajajo pravi akt in člen, delež vzdržanih odgovorov pri vprašanjih zunaj obsega in strošek na odgovor.

09 Panoge

V vaši panogi

  • Javni sektor

    Asistenti za uradne osebe in stranke, ki navajajo pravni vir, na primer odlok ali člen zakona, in beležijo, kaj je bilo najdeno in za koga.

  • Finančne storitve

    Asistenti za politike in postopke z natančnimi pravicami dostopa, popolno sledljivostjo in dokumentacijo tveganja modela, ki jo lahko pregleda druga obrambna linija.

  • Zdravstvo in farmacija

    Iskanje po protokolih in dokumentaciji izdelkov z jasnimi mejami: brez kliničnih odločitev, občutljivi podatki pa ostanejo v odobrenih okoljih.

Slovenija

Slovenska pravila, več jezikov, en standard vrednotenja

Akt o umetni inteligenci postavlja en okvir za vso EU, Slovenija pa je organe za nadzor trga po Aktu o umetni inteligenci določila z zakonom (ZIUDHPUI, Uradni list RS, št. 85/25), ki velja od 21. novembra 2025. Enotna kontaktna točka je Agencija za komunikacijska omrežja in storitve Republike Slovenije (AKOS), nadzor pa si delijo še Informacijski pooblaščenec, Banka Slovenije, Agencija za zavarovalni nadzor in Tržni inšpektorat Republike Slovenije.

Za osebne podatke velja splošna uredba o varstvu podatkov (GDPR) skupaj z Zakonom o varstvu osebnih podatkov (ZVOP-2), nadzorni organ je Informacijski pooblaščenec. Znanje podjetij, ki poslujejo tudi v Avstriji, Nemčiji, Italiji ali na Hrvaškem, je pogosto zapisano v več jezikih.

To upoštevamo že v začetni fazi: iskanje in vrednotenje za vsak jezik, lokacija hrambe podatkov za vsak primer uporabe ter beleženje in dokumentacija, ki odgovarjata na vprašanja vsakega nadzornika brez ločenega sistema za vsako državo. Projekti, ki jih financira program Digitalna Evropa, pogosto zahtevajo prav takšno ponovno uporabno in dokumentirano zasnovo.

Vprašanja o razvoju UI

Kateri model priporočate?

To je odvisno od naloge, podatkov in vaših zahtev glede gostovanja. Modele običajno kombiniramo: zmogljiv model za korake z zahtevnim sklepanjem, manjše ali lastno gostovane modele za razvrščanje in izluščanje ter namestitve v EU, kjer morajo podatki ostati v EU.

Prehod za modele omogoča, da je to izbiro mogoče spremeniti, zato se odgovor lahko spreminja skupaj z modeli in cenami.

Kako natančen bo sistem?

Natančnosti ne navajamo, preden je ne izmerimo na vaših podatkih. Z vami dogovorimo merila kakovosti, pripravimo testni nabor in o rezultatih poročamo pred uvedbo in po vsaki spremembi.

Modeli delajo napake, zato zasnova vedno določa, kaj se zgodi, ko do napake pride: vzdržanje odgovora, korake pregleda in pot do človeka.

Ali bodo naši podatki uporabljeni za učenje tujega modela?

V arhitekturah, ki jih zasnujemo, ne. Izberemo storitve modelov, katerih pogoji izključujejo učenje na vaših vhodnih podatkih, ali pa modele gostimo v vašem okolju. Izbiro za vsak primer uporabe dokumentiramo skupaj z vašo varnostno službo.

Ali za naš primer uporabe velja Akt o umetni inteligenci?

Pomagamo vam razumeti, katere obveznosti lahko veljajo glede na primer uporabe in vašo vlogo ponudnika ali uvajalca. Beleženje, nadzor in dokumentacijo zasnujemo temu ustrezno, da imajo vaši pravni svetovalci dejstva za zaključek.

Kako ravnate z varnostjo in občutljivimi podatki?

FromNine ima certifikat ISO/IEC 27001. Meje dostopa, lokacijo hrambe podatkov in roke hrambe dogovorimo pred razvojem, napadalno testiranje za vrivanje navodil in uhajanje podatkov pa je del postopka izdaje, ki ga vzpostavimo.

Kaj je smiseln prvi korak?

En primer uporabe z jasnim lastnikom, omejenim naborom virov in testnim naborom, pripravljenim z vašimi strokovnjaki. Tako dobite delujoč sistem in dokaze o kakovosti, stroških in odzivnem času, kar potrebujete za odločitev o naslednji naložbi.

Prinesite en primer uporabe in njegova najtežja vprašanja

Pokazali vam bomo, kako bi ga merili, preden se pogovorimo o razvoju.

Opišite svoj projektDostop do znanja