Prijeđite na glavni sadržaj
FromNine
Izbornik

AI i podaci

Generativna umjetna inteligencija koja izdrži produkciju.

Gradimo aplikacije generativne umjetne inteligencije (AI) nad vašim znanjem i podacima, s dohvatom sadržaja koji poštuje prava pristupa, evaluacijom kao uvjetom za svako izdanje te vidljivim troškom, kvalitetom i latencijom.

Za tvrtke i javna tijela u Hrvatskoj koja žele generativnu AI s izmjerenom kvalitetom, jasnim pravima pristupa i dokumentacijom za Akt o umjetnoj inteligenciji.

Dogovorite razgovorPristup znanju u organizaciji
AI inženjering i GenAI: slojevi mogućnostiČetiri sloja složena u dubinu. Odozgo prema dolje: dohvat iz vaših izvora, pristupnik modela, evaluacija i zaštitni mehanizmi te aplikacija s kojom rade vaši korisnici. Jedan put vodi od izvora do aplikacije.01Dohvat iz vaših izvora02Pristupnik i usmjeravanje modela03Evaluacija i zaštitni mehanizmi04Aplikacija u produkciji
  1. 01Odgovori koji navode izvore i suzdržavaju se kad dokaza nema
  2. 02Referentni testni skup i regresijske provjere dogovoreni s vašim timovima prije puštanja u rad
  3. 03Usmjeravanje modela i proračuni koji trošak i latenciju svakog zahtjeva čine vidljivima

01 Problemi

Gdje generativna AI zapinje

Model je rijetko najteži dio. Većinu programa zaustavlja sve što je oko njega.

  1. 01

    Pilot je oduševio, a onda nitko nije znao reći je li dobar

    Kvalitetu je procjenjivalo nekoliko ljudi s nekoliko pitanja. Testnog skupa nema, pa je svaka promjena upita ili nadogradnja modela kockanje.

  2. 02

    Asistent ljudima pokazuje dokumente koje ne bi smjeli vidjeti

    Sadržaj je indeksiran bez prava pristupa. Sigurnosni tim i radničko vijeće zaustavljaju uvođenje, i s pravom.

  3. 03

    Troškovi rastu brže od upotrebe

    Svaki zahtjev ide najvećem modelu s najduljim kontekstom. Nitko ne zna koliko stoji jedan odgovor, pa time nitko ni ne upravlja.

  4. 04

    Odgovori zvuče točno, a nisu

    Dohvat vraća gotovo pogođene odlomke, model glatko popunjava praznine, a korisnici gube povjerenje nakon treće samouvjerene pogreške.

02 Isporuke

Što isporučujemo

  1. 01 Dohvat sadržaja i sustavi znanja u organizaciji

    Dohvat projektiran za svaki izvor: kako se sadržaj raščlanjuje i dijeli na odlomke, kako se kombiniraju leksičko i vektorsko pretraživanje i kako prava pristupa prate svaki odlomak. Temelj za asistente za znanje u organizaciji.

    Što radimo

    • Popis izvora s vlasnicima, formatima i modelima pristupa
    • Strategija dijeljenja na odlomke i metapodataka za svaku vrstu dokumenta
    • Hibridno leksičko i vektorsko pretraživanje s ponovnim rangiranjem
    • Dohvat koji preuzima prava pristupa iz izvora

    Što dobivate

    • Cjevovodi za unos s otkrivanjem promjena
    • Servis za dohvat s navođenjem izvora i pravilima za suzdržavanje od odgovora
    • Izvješće o kvaliteti dohvata za svaki izvor

  2. 02 Strategija modela bez vezivanja uz dobavljača

    Pristupnik modela između vaših aplikacija i modela, kako biste zahtjeve usmjeravali prema zadatku, prebacili se na rezervu kad pružatelj zakaže i mijenjali modele kako se mijenjaju cijene i mogućnosti.

    Što radimo

    • Mogućnosti od vodećih modela kao usluge, preko implementacija smještenih u EU-u, do otvorenih modela na vlastitoj infrastrukturi
    • Usmjeravanje prema zadatku, osjetljivosti i trošku
    • Rezervni modeli, vremenska ograničenja, predmemoriranje i ograničenja broja zahtjeva
    • Uvjeti obrade podataka pregledani s vašim pravnim i sigurnosnim timom

    Što dobivate

    • Pristupnik modela s pravilima usmjeravanja kao konfiguracijom
    • Zapis o odluci o modelu za svaki slučaj upotrebe
    • Proračun troška i latencije za svaku vrstu zahtjeva

  3. 03 Evaluacija kao inženjerska disciplina

    Kriteriji kvalitete dogovoreni s ljudima koji su vlasnici procesa, pretvoreni u testne skupove koji se pokreću pri svakoj promjeni. Provjere koje ocjenjuje model kalibriramo prema ljudskom pregledu prije nego što se na njih oslonimo.

    Što radimo

    • Referentni testni skupovi za svaki slučaj upotrebe, izrađeni sa stručnjacima iz domene
    • Zasebna offline evaluacija dohvata i generiranja
    • Napadačko testiranje (red teaming) na ubacivanje uputa i curenje podataka
    • Online evaluacija iz povratnih informacija u produkciji i pregleda uzoraka

    Što dobivate

    • Skup evaluacijskih testova u CI-ju kao uvjet za izdanje
    • Kriteriji kvalitete koje je odobrio poslovni vlasnik
    • Nalazi napadačkog testiranja i mjere ublažavanja

  4. 04 LLMOps i nadzor rada

    Praćenje od pitanja preko dohvaćenih odlomaka i poziva modela do odgovora, s verzijama upita i modela kojima se upravlja kao kodom i proračunima koji se provode u produkciji.

    Što radimo

    • Praćenje i strukturirano zapisivanje svakog zahtjeva
    • Verzioniranje upita, modela i indeksa
    • Semantičko i točno predmemoriranje gdje je to sigurno
    • Praćenje odstupanja i kvalitete s upozorenjima

    Što dobivate

    • Nadzorne ploče za kvalitetu, trošak i latenciju
    • Priručnik za incidente specifične za AI
    • Radni postupak za ažuriranje modela i indeksa

  5. 05 Upravljanje ugrađeno u dizajn

    Projektiramo uzimajući u obzir Akt o umjetnoj inteligenciji, od klasifikacije rizika i vaše uloge dobavljača ili subjekta koji uvodi sustav do zapisivanja, ljudskog nadzora i dokumentacije. Pravna procjena ostaje vašim pravnim savjetnicima.

    Što radimo

    • Klasifikacija slučajeva upotrebe i obveze prema ulozi
    • Doprinos procjenama učinka na zaštitu podataka prema Općoj uredbi o zaštiti podataka (GDPR)
    • Projektiranje zapisivanja i ljudskog nadzora
    • Dokumentacija modela i sustava koja se čuva uz kôd

    Što dobivate

    • Paket dokumentacije sustava
    • Projekt zapisivanja i čuvanja zapisa
    • Postupak nadzora za svaki slučaj upotrebe

  6. 06 Fino podešavanje i razumijevanje dokumenata, kad evaluacija to pokaže

    Fino podešavanje, destilacija i multimodalno razumijevanje dokumenata alati su za određene nedostatke. Koristimo ih kad skup evaluacijskih testova pokaže da dohvat i upiti nisu dovoljni, a ne prije.

    Što radimo

    • Analiza nedostataka iz rezultata evaluacije
    • Plan pripreme i označavanja podataka
    • Destilacija u manje modele radi troška ili latencije
    • Izdvajanje podataka uz prepoznavanje rasporeda za skenirane i složene dokumente

    Što dobivate

    • Usporedna evaluacija prije i poslije
    • Podrijetlo podataka za učenje
    • Odluka o zadržavanju, vraćanju ili povlačenju

03 Arhitektura

Ilustrativna referentna arhitektura

Većina sustava generativne AI koje gradimo za organizacije ima isti oblik: dohvat iz vaših izvora, pristupnik modela, zaštitne mehanizme s obje strane modela te petlju evaluacije i nadzora rada ispod svega, koja odlučuje što smije u produkciju.

Filtar prava pristupa nalazi se unutar dohvata, a ne u korisničkom sučelju. Ako osoba ne može otvoriti dokument u izvornom sustavu, njegovi odlomci nikad ne stižu do modela u njezino ime.

Slojevi na crtežu

Izvori
Spremišta dokumenata, wikiji i poslovni sustavi te pružatelj identiteta koji zna tko smije vidjeti što.
Dohvat
Unos, hibridni indeks, ponovno rangiranje i filtar prava pristupa.
Modeli
Pristupnik koji usmjerava između modela kao usluge, modela smještenih u EU-u i vlastitih modela, s rezervama i predmemoriranjem.
Aplikacija
Odgovori s izvorima, suzdržavanje kad dokaza nema te zaštita ulaza i izlaza.
Rad i poboljšanje
Referentni skupovi, regresijske provjere, tragovi i proračuni. Tragovi iz produkcije pune sljedeći testni skup.
Ilustrativni primjer

  1. Izvori

    • Spremišta dokumenata i wikiji
    • Poslovni sustavi
    • Pružatelj identiteta

  2. Dohvat

    • Unos i dijeljenje na odlomke
    • Hibridni indeks
    • Filtar prava pristupa
    • Dohvat i ponovno rangiranje

  3. Modeli

    • Pristupnik modela
    • Modeli kao usluga, u EU-u i vlastiti
    • Zaštita ulaza i izlaza

  4. Aplikacija

    • Aplikacija s izvorima

  5. Rad i poboljšanje

    • Referentni skupovi i regresijske provjere
    • Tragovi, proračuni troška i latencije
Dohvat, pristupnik modela i petlja evaluacije

Ilustrativna arhitektura, a ne sustav klijenta.

Pročitajte dijagram kao tekst

Glavni put vodi od spremišta dokumenata preko unosa, hibridnog indeksa, dohvata s ponovnim rangiranjem i pristupnika modela do aplikacije.

Poslovni sustavi također pune unos. Pružatelj identiteta puni filtar prava pristupa koji ograničava dohvat. Zaštitni mehanizmi provjeravaju ulaz i izlaz aplikacije. Pristupnik usmjerava zahtjeve prema vodećim modelima kao usluzi, implementacijama smještenima u EU-u i otvorenim modelima na vlastitoj infrastrukturi.

Ispod se nalaze skup evaluacijskih testova s referentnim skupovima i regresijskim provjerama te nadzor rada s tragovima i proračunima troška i latencije. Tragovi iz produkcije pune skup evaluacijskih testova.

04 Razmatranja i ograničenja

Inženjerska razmatranja i ograničenja

  • Kvalitetu mjerimo, a ne obećavamo

    Kako to rješavamo

    Kriterije kvalitete dogovaramo s vlasnicima procesa i prema njima testiramo rezultate AI sustava prije i nakon svakog izdanja.

    Dohvat i generiranje evaluiramo zasebno, pa svaka pogreška upućuje na svoj uzrok.

    Ograničenja i ovisnosti

    Rezultati AI sustava mogu biti pogrešni. Zato projektiramo korake pregleda za nesigurne slučajeve i suzdržavanje od odgovora kad dokaza nema.

    Testni skup dobar je onoliko koliko su dobri stručnjaci koji ga pomažu izraditi. Njihovo vrijeme trebamo rano.

  • Prava pristupa prate sadržaj

    Kako to rješavamo

    Prava pristupa bilježimo pri unosu i provodimo ih pri svakom upitu prema vašem pružatelju identiteta.

    Ograničenja i ovisnosti

    Ako izvorni sustavi bilježe prava na način koji se ne može pouzdano pročitati, taj sadržaj ostaje izvan opsega dok to ne bude moguće.

    Sadržaj koji je u izvoru preširoko dijeljen ostaje preširoko dijeljen. Dohvat ga čini lakšim za pronalaženje, pa je čišćenje ponekad prvi korak.

  • Trošak i latencija ulazni su podaci za dizajn

    Kako to rješavamo

    Svaka vrsta zahtjeva dobiva proračun. Usmjeravanje, predmemoriranje i veličinu konteksta podešavamo prema njemu, a nadzorne ploče pokazuju kamo odlazi novac.

    Ograničenja i ovisnosti

    Cijene i ograničenja pružatelja mijenjaju se izvan vašeg utjecaja. Pristupnik vam omogućuje da reagirate, ali promjenu cijene ne može poništiti.

  • Modeli se mijenjaju ispod vas

    Kako to rješavamo

    Modele vežemo uz određenu verziju, a svaka nadogradnja prolazi cijeli skup evaluacijskih testova prije nego što stigne do korisnika.

    Ograničenja i ovisnosti

    Modeli kao usluga ponekad se povlače u kratkom roku. Za svaki slučaj upotrebe planiramo alternativu, a taj plan mora odobriti vlasnik.

05 Kako radimo

Kako radimo

Redoslijed je važan: o načinu mjerenja odlučujemo prije nego što odlučimo što ćemo graditi.

  1. 01

    Definiranje slučaja upotrebe

    Tko ga koristi, koje odluke podupire, kojim izvorima smije pristupiti i koliko stoji pogrešan odgovor.

    RezultatOpis slučaja upotrebe i klasifikacija rizika

  2. 02

    Izrada referentnog skupa

    Stvarna pitanja i očekivani odgovori, prikupljeni s vašim stručnjacima, uključujući i pitanja koja sustav treba odbiti.

    RezultatTestni skup s verzijama

  3. 03

    Najprije dohvat

    Unos, indeks i filtar prava pristupa, podešeni dok kvaliteta dohvata ne dosegne dogovorenu razinu.

    RezultatIzvješće o kvaliteti dohvata

  4. 04

    Izdanje uz provjere

    Generiranje, zaštitni mehanizmi i pristupnik idu u produkciju tek kad skup evaluacijskih testova prođe u CI-ju.

    RezultatIzdanje s dokazima evaluacije

  5. 05

    Rad i poboljšanje

    Tragovi, pregled uzoraka i povratne informacije korisnika pune sljedeći testni skup i sljedeće izdanje.

    RezultatMjesečni pregled kvalitete, troška i latencije

06 Ljudski nadzor

Gdje ljudi zadržavaju kontrolu

Generativna AI piše nacrte, dohvaća i predlaže. Ljudi odlučuju što smije vidjeti, što se smatra dobrim i što se događa kad sustav nije siguran.

  • Vlasnici odobravaju kvalitetu

    Poslovni vlasnik svakog slučaja upotrebe odobrava kriterije kvalitete i dokaze za izdanje, a ne samo tim za isporuku.

  • Nesigurni odgovori idu osobi

    Ispod dogovorenog praga pouzdanosti sustav se suzdržava od odgovora ili pitanje upućuje imenovanom timu.

  • Pristup ostaje u izvoru

    Tko smije vidjeti dokument, odlučuje se u izvornom sustavu i kod vašeg pružatelja identiteta, nikad unutar AI sloja.

  • Povratne informacije mijenjaju sustav

    Korisnici mogu označiti odgovore. Oznake pregledavaju ljudi, a potvrđene pogreške postaju testni slučajevi.

07 Tehnologije

Tehnologije s kojima radimo

Dohvat
  • OpenSearch i Elasticsearch
  • PostgreSQL s pgvectorom
  • Azure AI Search
  • Cross-encoder modeli za ponovno rangiranje
Modeli
  • Vodeći modeli kao usluga
  • Upravljani servisi modela u regijama EU-a
  • Otvoreni modeli na vLLM-u
  • Modeli ugrađivanja za svaki jezik
Evaluacija i rad
  • Praćenje s OpenTelemetryjem
  • Skupovi evaluacijskih testova u CI-ju
  • Registri upita i modela
  • Langfuse ili istovrijedan alat
Aplikacija
  • Servisi u TypeScriptu i Pythonu
  • API-ji sa strujanjem odgovora
  • Postojeći portali i sučelja platformi Salesforce, SAP i Odoo

Navođenje tehnologije opisuje naše inženjersko iskustvo. Ne podrazumijeva partnerstvo s njezinim dobavljačem ni njegovu preporuku.

08 Primjer

Ilustrativni primjer

Ilustrativni primjer

Pravni asistent za županijsku upravu

01Polazište
Službenici županijske uprave svakodnevno traže odgovore u odlukama županijske skupštine, općim aktima i propisima. Na ista pitanja dobivaju različite odgovore, ovisno o tome tko je i u kojoj verziji dokumenta tražio.
02Što bismo izgradili
Dohvat iz odluka, općih akata i propisa, s pravima pristupa preuzetima iz sustava za upravljanje dokumentima i odgovorima koji uvijek navode akt i njegovu verziju.
03Gdje odlučuju ljudi
Pročelnik nadležnog upravnog odjela odobrava testni skup i svako izdanje koje mijenja odgovore; što će građanin ili općina dobiti kao odgovor, odlučuje službenik.
04Što bismo mjerili
Udio odgovora koji navode ispravan akt, stopa suzdržavanja na pitanjima izvan opsega i trošak po odgovoru.

09 Po sektorima

U vašem sektoru

  • Javni sektor

    Asistenti za službenike i građane koji navode pravni izvor, poštuju prava pristupa i bilježe što je dohvaćeno i za koga.

  • Financijske usluge

    Asistenti za politike i postupke sa strogim pravima pristupa, potpunom sljedivošću i dokumentacijom o riziku modela koju vaša druga linija obrane može pregledati.

  • Zdravstvo i znanosti o životu

    Dohvat iz protokola i dokumentacije proizvoda s jasnim granicama: bez kliničkih odluka, a osjetljivi podaci ostaju u odobrenim okruženjima.

Hrvatska

Jedan standard evaluacije za svaki jezik

Akt o umjetnoj inteligenciji postavlja jedan okvir za cijeli EU: zabranjene prakse vrijede od 2. veljače 2025., a obveze za visokorizične sustave iz Priloga III. primjenjivat će se od 2. prosinca 2027. Za osobne podatke vrijedi Opća uredba o zaštiti podataka (GDPR), a nadzorno tijelo u Hrvatskoj je Agencija za zaštitu osobnih podataka (AZOP).

Znanje hrvatskih organizacija često je zapisano na više jezika: propisi i interni akti na hrvatskom, ugovori i tehnička dokumentacija na engleskom ili njemačkom. Zato dohvat i evaluaciju projektiramo za svaki jezik, lokaciju podataka određujemo za svaki slučaj upotrebe, a zapisivanje i dokumentaciju tako da odgovore na pitanja vašeg službenika za zaštitu podataka i radničkog vijeća. Projekti financirani iz programa Digitalna Europa često traže upravo takav ponovno upotrebljiv, dokumentiran dizajn.

Pitanja o AI inženjeringu

Koji model preporučujete?

Ovisi o zadatku, podacima i vašim zahtjevima za smještaj. Obično kombiniramo modele: snažan model za korake koji traže zaključivanje, manje ili vlastite modele za klasifikaciju i izdvajanje podataka te implementacije smještene u EU-u kad podaci moraju ostati u EU-u.

Pristupnik taj izbor čini povratnim, pa se odgovor može mijenjati kako se mijenjaju modeli i cijene.

Koliko će sustav biti točan?

Točnost ne navodimo prije nego što je izmjerimo na vašim podacima. S vama dogovaramo kriterije kvalitete, izrađujemo testni skup i izvještavamo o rezultatima prema njemu prije puštanja u rad i nakon svake promjene.

Modeli griješe, pa dizajn uvijek uključuje i ono što se tada događa: suzdržavanje od odgovora, korake pregleda i put do osobe.

Hoće li se naši podaci koristiti za učenje tuđeg modela?

Ne u arhitekturama koje mi projektiramo. Biramo servise modela čiji uvjeti isključuju učenje na vašim ulaznim podacima ili modele smještamo u vaše okruženje, a izbor za svaki slučaj upotrebe dokumentiramo s vašim sigurnosnim timom.

Odnosi li se Akt o umjetnoj inteligenciji na naš slučaj upotrebe?

Pomažemo vam razumjeti koje bi se obveze mogle primjenjivati, prema slučaju upotrebe i vašoj ulozi dobavljača ili subjekta koji uvodi sustav, i u skladu s tim projektiramo zapisivanje, nadzor i dokumentaciju, kako bi vaši pravni savjetnici imali činjenice za zaključak.

Kako postupate sa sigurnošću i osjetljivim podacima?

Tvrtka FromNine ima certifikat ISO/IEC 27001. Granice pristupa, lokaciju podataka i rokove čuvanja dogovaramo prije izgradnje, a napadačko testiranje na ubacivanje uputa i curenje podataka dio je postupka izdavanja koji uspostavljamo.

Koji je razuman prvi korak?

Jedan slučaj upotrebe s jasnim vlasnikom, ograničenim skupom izvora i testnim skupom izrađenim s vašim stručnjacima. Tako dobivate sustav koji radi i dokaze o kvaliteti, trošku i latenciji, a upravo to treba sljedećoj odluci o ulaganju.

Donesite jedan slučaj upotrebe i njegova najteža pitanja

Pokazat ćemo kako bismo ga mjerili prije nego što razgovaramo o izgradnji.

Dogovorite razgovorPristup znanju u organizaciji