Liikuge põhisisu juurde
FromNine
Menüü

TI ja andmed

Generatiivne TI, mis peab tootmises vastu.

Ehitame generatiivse tehisintellekti rakendusi teie enda teadmistele ja andmetele. Otsing arvestab juurdepääsuõigusi, hindamine otsustab iga väljalaske üle ning kulu, kvaliteet ja viivitus on teile nähtavad.

Eesti organisatsioonidele, kelle teadmised on kirjas mitmes keeles ja kes vajavad TI-lahendust, mille kvaliteeti saab mõõta.

Arutame teie projektiTeadmusotsing
TI-arendus ja generatiivne TI: võimekuste kihidNeli kihti üksteise taga. Ülevalt alla: otsing teie allikatest, mudelilüüs, hindamine ja kaitsereeglid ning rakendus, milles teie kasutajad töötavad. Üks tee kulgeb allikatest rakenduseni.01Otsing teie allikatest02Mudelilüüs ja suunamine03Hindamine ja kaitsereeglid04Rakendus tootmises
  1. 01Vastused viitavad allikatele ja jäävad vastamata, kui tõendid puuduvad
  2. 02Etalonandmestik ja regressiooniväravad, mis lepitakse teie meeskondadega kokku enne käivitamist
  3. 03Mudelite suunamine ja eelarved, mis hoiavad iga päringu kulu ja viivituse nähtaval

01 Probleemid

Kus generatiivne TI takerdub

Mudel on harva kõige raskem osa. Enamiku programme peatab kõik see, mis on mudeli ümber.

  1. 01

    Katseprojekt jättis hea mulje, kuid keegi ei oska öelda, kas see oli hea

    Kvaliteeti hindasid mõned inimesed paari küsimuse põhjal. Testikogumit pole, seega on iga viiba muudatus või mudeli uuendus hasartmäng.

  2. 02

    Assistent näitab inimestele dokumente, mida nad ei tohiks näha

    Sisu indekseeriti ilma juurdepääsuõigusteta. Infoturbe meeskond ja andmekaitsespetsialist peatavad juurutamise, ja õigusega.

  3. 03

    Kulud kasvavad kiiremini kui kasutus

    Iga päring läheb suurimale mudelile kõige pikema kontekstiga. Keegi ei tea ühe vastuse hinda, seega ei saa keegi seda ka juhtida.

  4. 04

    Vastused kõlavad õigesti, kuid ei ole õiged

    Otsing toob peaaegu sobivaid lõike, mudel täidab lüngad sujuvalt ja kasutajad kaotavad usalduse pärast kolmandat enesekindlat viga.

02 Mida tarnime

Mida tarnime

  1. 01 Otsing ja ettevõtte teadmussüsteemid

    Otsing kavandatakse iga allika jaoks eraldi: kuidas sisu parsitakse ja tükeldatakse, kuidas märksõna- ja vektorotsing kokku töötavad ning kuidas juurdepääsuõigused liiguvad iga lõiguga kaasa. See on aluseks ettevõtte teadmusassistentidele.

    Mida teeme

    • Allikate inventuur koos omanike, vormingute ja juurdepääsumudelitega
    • Tükeldamise ja metaandmete strateegia dokumendiliigi kaupa
    • Hübriidne märksõna- ja vektorotsing koos ümberjärjestamisega
    • Õigusi arvestav otsing, mis pärib allika juurdepääsuõigused

    Mida saate

    • Laadimistorud koos muudatuste tuvastamisega
    • Otsinguteenus koos allikaviidete ja vastamata jätmise reeglitega
    • Otsingukvaliteedi aruanne allika kaupa

  2. 02 Mudelistrateegia ilma lukustuseta

    Mudelilüüs teie rakenduste ja mudelite vahel, et saaksite suunata päringuid ülesande järgi, minna üle varulahendusele, kui teenusepakkuja ei vasta, ja vahetada mudeleid, kui hinnad ja võimekused muutuvad.

    Mida teeme

    • Valikud teenusena pakutavate tippmudelite, ELis majutatud teenuste ja ise majutatud avatud kaaludega mudelite vahel
    • Suunamine ülesande, andmete tundlikkuse ja kulu järgi
    • Varulahendused, ajalõpud, vahemälu ja päringulimiidid
    • Andmetöötlustingimused, mis vaadatakse üle koos teie õigus- ja turvameeskonnaga

    Mida saate

    • Mudelilüüs, mille suunamisreeglid on konfiguratsioonis
    • Mudelivaliku otsusekirje iga kasutusjuhu kohta
    • Kulu- ja viivituseelarve päringutüübi kaupa

  3. 03 Hindamine kui insenerdistsipliin

    Kvaliteedikriteeriumid lepitakse kokku protsessi omanikega ja neist saavad testikogumid, mis jooksevad iga muudatusega. Mudeli abil tehtavad kontrollid kalibreerime inimeste ülevaatuse vastu, enne kui neile toetume.

    Mida teeme

    • Etalonandmestikud kasutusjuhu kaupa, koostatud koos valdkonna ekspertidega
    • Otsingu ja vastuse genereerimise eraldi hindamine testikogumil
    • Ründetestimine (red teaming) viibasüsti (prompt injection) ja andmelekke vastu
    • Hindamine tootmises tagasiside ja valimipõhise ülevaatuse põhjal

    Mida saate

    • Hindamiskomplekt, mis on CI-s väljalaske väravaks
    • Kvaliteedikriteeriumid, mille on kinnitanud äripoolne omanik
    • Ründetestimise leiud ja leevendusmeetmed

  4. 04 LLMOps ja jälgitavus

    Jälitus küsimusest leitud lõikude ja mudelikutseni ning vastuseni. Viipasid ja mudeleid versioonitakse nagu koodi ning eelarveid jõustatakse tootmises.

    Mida teeme

    • Iga päringu jälitus ja struktureeritud logimine
    • Viipade, mudelite ja indeksite versioonimine
    • Semantiline ja täpne vahemälu seal, kus see on ohutu
    • Triivi ja kvaliteedi seire koos häiretega

    Mida saate

    • Töölauad kvaliteedi, kulu ja viivituse kohta
    • Intsidendijuhis TI-spetsiifiliste rikete jaoks
    • Käsiraamat mudelite ja indeksite uuendamiseks

  5. 05 Juhtimine kavandatud algusest peale

    Kavandame tehisintellekti määrust silmas pidades: riskiklassist ja teie rollist pakkuja või juurutajana kuni logimise, inimjärelevalve ja dokumentatsioonini. Õiguslik hinnang jääb teie enda juristidele.

    Mida teeme

    • Kasutusjuhu klassifitseerimine ja kohustused rolli järgi
    • Sisend andmekaitsealasele mõjuhinnangule IKÜM-i järgi
    • Logimise ja inimjärelevalve kavandamine
    • Mudeli ja süsteemi dokumentatsioon, mida hoitakse koos koodiga

    Mida saate

    • Süsteemi dokumentatsioonipakett
    • Logimise ja säilitamise lahendus
    • Järelevalvekord iga kasutusjuhu jaoks

  6. 06 Peenhäälestus ja dokumendimõistmine, kui hindamine seda näitab

    Peenhäälestus, destilleerimine ja multimodaalne dokumendimõistmine on tööriistad konkreetsete lünkade jaoks. Kasutame neid siis, kui hindamiskomplekt näitab, et otsingust ja viipadest ei piisa, mitte varem.

    Mida teeme

    • Lünkade analüüs hindamistulemuste põhjal
    • Andmete ettevalmistamise ja märgendamise plaan
    • Destilleerimine väiksematele mudelitele kulu või viivituse tõttu
    • Paigutust arvestav andmete eraldamine skannitud ja keerukatest dokumentidest

    Mida saate

    • Võrdlev hindamine enne ja pärast
    • Treeningandmete päritolu
    • Otsus säilitada, tagasi pöörata või kasutusest kõrvaldada

03 Arhitektuur

Illustreeriv viitearhitektuur

Enamikul ettevõtte generatiivse TI süsteemidel, mida ehitame, on sama kuju: otsing teie allikatest, mudelilüüs, kaitsereeglid mudeli mõlemal poolel ning selle all hindamise ja jälgitavuse tsükkel, mis otsustab, mis tohib tootmisse minna.

Õiguste filter asub otsingu sees, mitte kasutajaliideses. Kui inimene ei saa dokumenti lähtesüsteemis avada, ei jõua selle lõigud tema nimel kunagi mudelini.

Joonise kihid

Allikad
Dokumendihoidlad, vikid ja ärisüsteemid ning identiteedipakkuja, mis teab, kes mida näha tohib.
Otsing
Laadimine, hübriidindeks, ümberjärjestamine ja õiguste filter.
Mudelid
Lüüs, mis suunab päringuid teenusena pakutavate, ELis majutatud ja ise majutatud mudelite vahel, koos varulahenduste ja vahemäluga.
Rakendus
Allikaviidetega vastused, vastamata jätmine tõendite puudumisel ning kaitsereeglid sisendil ja väljundil.
Käitamine ja täiustamine
Etalonandmestikud, regressiooniväravad, jälitus ja eelarved. Tootmise jälitusandmetest saab järgmine testikogum.
Illustreeriv näide

  1. Allikad

    • Dokumendi­hoidlad ja vikid
    • Äri­süsteemid
    • Identiteedi­pakkuja

  2. Otsing

    • Laadimine ja tükeldamine
    • Hübriid­indeks
    • Õiguste filter
    • Otsing ja ümber­järjestamine

  3. Mudelid

    • Mudeli­lüüs
    • Teenusena, ELis ja ise majutatud mudelid
    • Sisendi ja väljundi kaitse­reeglid

  4. Rakendus

    • Rakendus koos allika­viidetega

  5. Käitamine ja täiustamine

    • Etalon­andmestikud ja regressiooni­väravad
    • Jälitus, kulu- ja viivitus­eelarved
Otsing, mudelilüüs ja hindamistsükkel

Illustreeriv arhitektuur, mitte kliendi süsteem.

Lugege joonist tekstina

Põhitee kulgeb dokumendihoidlatest laadimise, hübriidindeksi, ümberjärjestamisega otsingu ja mudelilüüsi kaudu rakenduseni.

Laadimisse jõuavad andmed ka ärisüsteemidest. Identiteedipakkuja annab sisendi õiguste filtrile, mis piirab otsingut. Kaitsereeglid kontrollivad rakenduse sisendit ja väljundit. Lüüs suunab päringud teenusena pakutavatele tippmudelitele, ELis majutatud teenustele ja ise majutatud avatud kaaludega mudelitele.

All asuvad hindamiskomplekt koos etalonandmestike ja regressiooniväravatega ning jälgitavus koos jälituse, kulu- ja viivituseelarvetega. Tootmise jälitusandmed toidavad hindamiskomplekti.

04 Kaalutlused ja piirangud

Tehnilised kaalutlused ja piirangud

  • Kvaliteeti mõõdetakse, seda ei lubata

    Kuidas me seda lahendame

    Lepime kvaliteedikriteeriumid kokku teie protsessiomanikega ja testime TI väljundit nende vastu enne ja pärast iga väljalaset.

    Otsingut ja vastuse genereerimist hinnatakse eraldi, nii et rike viitab oma põhjusele.

    Piirangud ja sõltuvused

    TI väljund võib olla vale. Seepärast kavandame ebakindlate juhtude jaoks ülevaatuse sammud ja vastamata jätmise, kui tõendid puuduvad.

    Testikogum on täpselt nii hea kui eksperdid, kes aitavad seda koostada. Vajame nende aega varakult.

  • Õigused liiguvad koos sisuga

    Kuidas me seda lahendame

    Juurdepääsuõigused salvestatakse laadimisel ja neid jõustatakse päringu ajal teie identiteedipakkuja põhjal.

    Piirangud ja sõltuvused

    Kui lähtesüsteemid hoiavad õigusi viisil, mida ei saa usaldusväärselt lugeda, jätame selle sisu ulatusest välja, kuni see on võimalik.

    Allikas liiga laialt jagatud sisu jääb liiga laialt jagatuks. Otsing teeb selle leidmise lihtsamaks, seega on esimene samm mõnikord korrastamine.

  • Kulu ja viivitus on kavandamise sisendid

    Kuidas me seda lahendame

    Igal päringutüübil on eelarve. Suunamine, vahemälu ja konteksti suurus häälestatakse selle järgi ning töölauad näitavad, kuhu raha läheb.

    Piirangud ja sõltuvused

    Teenusepakkujate hinnad ja limiidid muutuvad väljaspool teie kontrolli. Lüüs laseb teil reageerida, kuid hinnamuutust see ära ei kaota.

  • Mudelid muutuvad teie all

    Kuidas me seda lahendame

    Mudelid on fikseeritud kindlale versioonile ja iga uuendus läbib kogu hindamiskomplekti enne, kui see kasutajateni jõuab.

    Piirangud ja sõltuvused

    Teenusena pakutavaid mudeleid võetakse mõnikord kasutusest maha lühikese etteteatamisega. Kavandame iga kasutusjuhu jaoks alternatiivi ja see plaan vajab omaniku kinnitust.

05 Kuidas töötame

Kuidas töötame

Järjekord on oluline: otsustame, kuidas mõõta, enne kui otsustame, mida ehitada.

  1. 01

    Kasutusjuhu piiritlemine

    Kes seda kasutab, milliseid otsuseid see toetab, milliseid allikaid see tohib puudutada ja mida maksab vale vastus.

    TulemusKasutusjuhu kirjeldus ja riskiklass

  2. 02

    Etalonandmestiku koostamine

    Päris küsimused ja oodatud vastused, mis kogutakse koos teie valdkonna ekspertidega, sealhulgas need, millele süsteem peab keelduma vastamast.

    TulemusVersioonitud testikogum

  3. 03

    Kõigepealt otsing

    Laadimine, indeks ja õiguste filter, mida häälestatakse, kuni otsingu kvaliteet vastab kokkulepitud tasemele.

    TulemusOtsingukvaliteedi aruanne

  4. 04

    Väljalase väravate taga

    Vastuste genereerimine, kaitsereeglid ja lüüs lähevad tootmisse alles siis, kui hindamiskomplekt CI-s läbib.

    TulemusVäljalase koos hindamistõenditega

  5. 05

    Käitamine ja täiustamine

    Jälitus, valimipõhine ülevaatus ja kasutajate tagasiside toidavad järgmist testikogumit ja järgmist väljalaset.

    TulemusIgakuine kvaliteedi, kulu ja viivituse ülevaade

06 Inimese kontroll

Kus inimesed jäävad otsustajaks

Generatiivne TI koostab mustandeid, otsib ja soovitab. Inimesed otsustavad, mida see tohib näha, mis on hea tulemus ja mis juhtub, kui see pole kindel.

  • Omanikud kinnitavad kvaliteedi

    Iga kasutusjuhu äripoolne omanik kinnitab kvaliteedikriteeriumid ja väljalaske tõendid, mitte ainult tarnemeeskond.

  • Ebakindlad vastused lähevad inimesele

    Allpool kokkulepitud kindluse läve jätab süsteem vastamata või suunab küsimuse nimetatud meeskonnale.

  • Juurdepääs jääb allika juurde

    Kes tohib dokumenti näha, otsustatakse lähtesüsteemis ja teie identiteedipakkujas, mitte kunagi TI-kihis.

  • Tagasiside muudab süsteemi

    Kasutajad saavad vastuseid märgistada. Märgistused vaatavad üle inimesed ja kinnitatud vigadest saavad testijuhtumid.

07 Tehnoloogiad

Tehnoloogiad, millega töötame

Otsing
  • OpenSearch ja Elasticsearch
  • PostgreSQL koos pgvectoriga
  • Azure AI Search
  • Cross-encoder ümberjärjestajad
Mudelid
  • Teenusena pakutavad tippmudelid
  • ELi regioonis hallatud mudeliteenused
  • Avatud kaaludega mudelid vLLM-il
  • Embedding-mudelid keele kaupa
Hindamine ja käitus
  • OpenTelemetry jälitus
  • CI-põhised hindamiskomplektid
  • Viipade ja mudelite registrid
  • Langfuse või samaväärne
Rakendus
  • TypeScripti ja Pythoni teenused
  • Voogedastusega API-d
  • Olemasolevad portaalid, Salesforce’i, SAP-i ja Odoo kasutajaliidesed

Tehnoloogia loetelu kirjeldab meie inseneride kogemust. See ei tähenda partnerlust tootjaga ega tootja heakskiitu.

08 Näide

Illustreeriv näide

Illustreeriv näide

Õigusteabe assistent ministeeriumi õigusosakonnale

01Olukord
Ministeeriumi juristid otsivad vastuseid seadustest, määrustest ja sisejuhenditest ning sama küsimus jõuab eri inimesteni mitu korda. Vastused erinevad, sest igaüks otsib erinevast kohast.
02Mida me ehitaksime
Otsing õigusaktidest, eelnõudest ja sisejuhenditest, juurdepääsuõigused päritakse dokumendihaldussüsteemist ning iga vastus viitab konkreetsele sättele ja selle redaktsioonile.
03Kus otsustavad inimesed
Osakonna juhataja kinnitab testikogumi ja iga väljalaske. Assistent on juristide töövahend; õigusliku seisukoha kujundab alati jurist.
04Mida me mõõdaksime
Õigele sättele viitavate vastuste osakaal, vastamata jätmise määr ulatusest väljas olevatele küsimustele ja ühe vastuse kulu.

09 Valdkondade vaade

Teie valdkonnas

  • Avalik sektor

    Assistendid ametnikele ja menetlejatele, mis viitavad õigusakti sättele ja logivad, mida kelle jaoks leiti. Otsuse teeb alati menetleja.

  • Finantsteenused

    Poliitikate ja protseduuride assistendid rangete õigustega, täieliku jälgitavusega ja mudeliriski dokumentatsiooniga, mida teie teine kaitseliin saab üle vaadata.

  • Tervishoid ja eluteadused

    Otsing protokollidest ja tootedokumentatsioonist selgete piiridega: kliinilisi otsuseid ei tehta ja tundlikud andmed jäävad heakskiidetud keskkondadesse.

Eesti

Mitu keelt, üks hindamisstandard

Eesti organisatsioonide dokumendid on sageli mitmes keeles: õigusaktid ja sisekord eesti keeles, lepingud ja tootedokumentatsioon inglise keeles, tütarettevõtete materjalid Põhjamaade keeltes. Tehisintellekti määrus seab ühe raami kogu Euroopa Liidus. Isikuandmete kaitse üle teeb Eestis järelevalvet Andmekaitse Inspektsioon (AKI).

Arvestame sellega juba analüüsi ajal: otsing ja hindamine keele kaupa, andmete asukoht kasutusjuhu kaupa ning logimine ja dokumentatsioon, mis vastavad järelevalve küsimustele ilma eraldi süsteemideta. Euroopa Komisjoni loetelus on Eesti turujärelevalve ühtne kontaktpunkt Tarbijakaitse ja Tehnilise Järelevalve Amet (TTJA). Programmist „Digitaalne Euroopa“ rahastatud projektid ootavad sageli just sellist korduvkasutatavat ja dokumenteeritud lahendust.

Küsimused TI-arenduse kohta

Millist mudelit soovitate?

See sõltub ülesandest, andmetest ja teie majutusnõuetest. Tavaliselt kombineerime mudeleid: võimekas mudel arutluspõhiste sammude jaoks, väiksemad või ise majutatud mudelid klassifitseerimiseks ja andmete eraldamiseks ning ELis majutatud teenused, kui andmed peavad jääma Euroopa Liitu.

Lüüs hoiab selle valiku pööratavana, nii et vastus võib muutuda koos mudelite ja hindadega.

Kui täpne see on?

Me ei nimeta täpsust enne, kui oleme seda teie andmetel mõõtnud. Lepime teiega kokku kvaliteedikriteeriumid, koostame testikogumi ja anname tulemustest aru enne käivitamist ja pärast iga muudatust.

Mudelid teevad vigu, seega sisaldab lahendus alati ka seda, mis siis juhtub: vastamata jätmist, ülevaatuse samme ja teed inimeseni.

Kas meie andmeid kasutatakse kellegi teise mudeli treenimiseks?

Meie kavandatud arhitektuurides mitte. Valime mudeliteenused, mille tingimused välistavad teie sisendite kasutamise treenimiseks, või majutame mudelid teie keskkonnas ise ning dokumenteerime valiku iga kasutusjuhu kohta koos teie turvameeskonnaga.

Kas tehisintellekti määrus kehtib meie kasutusjuhule?

Aitame teil mõista, millised kohustused võivad kehtida, lähtudes kasutusjuhust ja teie rollist pakkuja või juurutajana. Logimise, järelevalve ja dokumentatsiooni kavandame vastavalt, nii et teie juristidel on järelduse tegemiseks vajalikud faktid.

Kuidas käsitlete turvet ja tundlikke andmeid?

FromNine’il on ISO/IEC 27001 sertifikaat. Juurdepääsu piirid, andmete asukoht ja säilitamine lepitakse kokku enne ehitamist ning viibasüsti ja andmelekke ründetestimine on osa väljalaskeprotsessist, mille seadistame.

Milline on mõistlik esimene samm?

Üks kasutusjuht selge omaniku, piiratud allikate ja teie ekspertidega koostatud testikogumiga. See annab töötava süsteemi ja tõendid kvaliteedi, kulu ja viivituse kohta, mida järgmine investeerimisotsus vajab.

Tooge üks kasutusjuht ja selle kõige raskemad küsimused

Näitame, kuidas me seda mõõdaksime, enne kui räägime ehitamisest.

Arutame teie projektiTeadmusotsing