Pereiti prie pagrindinio turinio
FromNine
Meniu

DI ir duomenys

Generatyvinis dirbtinis intelektas, patikimas gamybinėje aplinkoje.

Kuriame generatyvinio DI taikomąsias programas, paremtas Jūsų žiniomis ir duomenimis: paieška paiso prieigos teisių, kiekvieną versiją prieš išleidžiant patikrina vertinimas, o kaina, kokybė ir delsa yra matomos.

Organizacijoms Lietuvoje ir grupėms, kurių DI platforma veikia keliose šalyse, keliomis kalbomis ir pagal skirtingas nacionalines taisykles.

Aptarkime Jūsų projektąOrganizacijos žinios
DI inžinerija ir generatyvinis DI: gebėjimų sluoksniaiKeturi vienas po kito išdėstyti sluoksniai. Iš viršaus į apačią: paieška Jūsų šaltiniuose, modelių šliuzas, vertinimas ir apsauginiai filtrai, taikomoji programa, kuria dirba naudotojai. Viena trasa veda nuo šaltinių iki taikomosios programos.01Paieška Jūsų šaltiniuose02Modelių šliuzas ir maršruti­zavimas03Vertinimas ir apsauginiai filtrai04Taikomoji programa gamybinėje aplinkoje
  1. 01Atsakymai su šaltinių nuorodomis, o kai įrodymų trūksta, sistema atsakyti atsisako
  2. 02Etaloninis testų rinkinys ir regresijos patikros, sutartos su Jūsų komandomis iki paleidimo
  3. 03Modelių maršrutizavimas ir biudžetai, kad kiekvienos užklausos kaina ir delsa būtų matomos

01 Problemos

Kur generatyvinis DI įstringa

Modelis retai būna sunkiausia dalis. Daugumą programų sustabdo viskas, kas yra aplink jį.

  1. 01

    Bandomasis projektas sužavėjo, bet niekas negalėjo pasakyti, ar jis geras

    Kokybę vertino keli žmonės, uždavę po kelis klausimus. Testų rinkinio nėra, todėl kiekvienas užklausos (prompt) pakeitimas ar modelio atnaujinimas tampa loterija.

  2. 02

    Asistentas rodo žmonėms dokumentus, kurių jie neturėtų matyti

    Turinys buvo indeksuotas be prieigos teisių. Saugumo tarnyba ir darbo taryba sustabdo diegimą, ir pagrįstai.

  3. 03

    Išlaidos auga greičiau nei naudojimas

    Kiekviena užklausa siunčiama didžiausiam modeliui su ilgiausiu kontekstu. Niekas nežino, kiek kainuoja vienas atsakymas, todėl niekas negali šių išlaidų valdyti.

  4. 04

    Atsakymai skamba teisingai, bet tokie nėra

    Paieška grąžina beveik tinkamus fragmentus, modelis sklandžiai užpildo spragas, o naudotojai praranda pasitikėjimą po trečios užtikrintu tonu pateiktos klaidos.

02 Ką pateikiame

Ką pateikiame

  1. 01 Paieška ir organizacijos žinių sistemos

    Paiešką projektuojame kiekvienam šaltiniui atskirai: kaip turinys analizuojamas ir skaidomas į fragmentus, kaip derinama leksinė ir vektorinė paieška ir kaip prieigos teisės keliauja su kiekvienu fragmentu. Tai organizacijos žinių asistentų pagrindas.

    Ką darome

    • Šaltinių sąrašas su savininkais, formatais ir prieigos modeliais
    • Skaidymo į fragmentus ir metaduomenų strategija kiekvienam dokumentų tipui
    • Hibridinė leksinė ir vektorinė paieška su pakartotiniu rikiavimu
    • Paieška, paveldinti šaltinio prieigos teises

    Ką gaunate

    • Įkėlimo konvejeriai su pokyčių aptikimu
    • Paieškos paslauga su šaltinių nuorodomis ir atsisakymo atsakyti taisyklėmis
    • Paieškos kokybės ataskaita kiekvienam šaltiniui

  2. 02 Modelių strategija be priklausomybės nuo tiekėjo

    Modelių šliuzas tarp Jūsų taikomųjų programų ir modelių leidžia parinkti modelį pagal užduotį, persijungti į atsarginį, kai teikėjas sutrinka, ir keisti modelius, kai keičiasi kainos ir galimybės.

    Ką darome

    • Galimybės tarp teikėjų debesyje veikiančių pažangių modelių, ES regione talpinamų diegimų ir Jūsų infrastruktūroje veikiančių atvirų svorių modelių
    • Maršrutizavimas pagal užduotį, duomenų jautrumą ir kainą
    • Atsarginiai variantai, laiko limitai, podėliavimas ir užklausų dažnio ribos
    • Duomenų tvarkymo sąlygos, peržiūrėtos su Jūsų teisės ir saugumo komandomis

    Ką gaunate

    • Modelių šliuzas, kurio maršrutizavimo politika aprašyta konfigūracijoje
    • Modelio pasirinkimo sprendimo įrašas kiekvienam panaudojimo atvejui
    • Kainos ir delsos biudžetas kiekvienam užklausos tipui

  3. 03 Vertinimas kaip inžinerinė disciplina

    Kokybės kriterijus sutariame su proceso savininkais ir paverčiame juos testų rinkiniais, kurie vykdomi po kiekvieno pakeitimo. Modelių atliekamas vertinimas pirmiausia kalibruojamas pagal žmonių peržiūrą ir tik tada juo remiamės.

    Ką darome

    • Etaloniniai duomenų rinkiniai kiekvienam panaudojimo atvejui, sudaryti su srities ekspertais
    • Atskiras paieškos ir generavimo vertinimas iki paleidimo
    • Atakų imitavimas (red-teaming) dėl užklausų injekcijų ir duomenų nutekėjimo
    • Vertinimas gamybinėje aplinkoje pagal naudotojų grįžtamąjį ryšį ir atrankinę peržiūrą

    Ką gaunate

    • Vertinimo rinkinys, įtrauktas į CI kaip išleidimo sąlyga
    • Kokybės kriterijai, patvirtinti verslo savininko
    • Atakų imitavimo išvados ir rizikos mažinimo priemonės

  4. 04 LLMOps ir stebėsena

    Atsekamumas nuo klausimo iki rastų fragmentų, modelio iškvietimo ir atsakymo. Užklausų šablonai ir modeliai versijuojami kaip kodas, o biudžetų gamybinėje aplinkoje laikomasi automatiškai.

    Ką darome

    • Kiekvienos užklausos sekimas ir struktūrizuoti žurnalai
    • Užklausų šablonų, modelių ir indeksų versijavimas
    • Semantinis ir tikslus podėliavimas, kur tai saugu
    • Nuokrypių ir kokybės stebėsena su įspėjimais

    Ką gaunate

    • Kokybės, kainos ir delsos skydeliai
    • Incidentų valdymo planas DI būdingiems gedimams
    • Modelių ir indeksų atnaujinimo vadovas

  5. 05 Valdysena nuo projektavimo pradžios

    Projektuojame atsižvelgdami į Dirbtinio intelekto aktą: nuo rizikos klasifikavimo ir Jūsų, kaip tiekėjo ar diegėjo, vaidmens iki žurnalų, žmogaus priežiūros ir dokumentacijos. Teisinis vertinimas lieka Jūsų teisininkams.

    Ką darome

    • Panaudojimo atvejo klasifikavimas ir pareigos pagal vaidmenį
    • Indėlis į poveikio duomenų apsaugai vertinimą pagal BDAR
    • Žurnalų ir žmogaus priežiūros projektavimas
    • Modelio ir sistemos dokumentacija, saugoma kartu su kodu

    Ką gaunate

    • Sistemos dokumentacijos paketas
    • Žurnalų ir jų saugojimo projektas
    • Priežiūros procedūra kiekvienam panaudojimo atvejui

  6. 06 Modelių derinimas ir dokumentų supratimas, kai to reikia pagal vertinimą

    Modelių derinimas (fine-tuning), distiliavimas ir multimodalinis dokumentų supratimas yra įrankiai konkrečioms spragoms. Juos taikome tada, kai vertinimo rinkinys parodo, kad paieškos ir užklausų nepakanka, ir ne anksčiau.

    Ką darome

    • Spragų analizė pagal vertinimo rezultatus
    • Duomenų paruošimo ir žymėjimo planas
    • Distiliavimas į mažesnius modelius dėl kainos ar delsos
    • Išdėstymą atpažįstantis duomenų išgavimas iš skenuotų ir sudėtingų dokumentų

    Ką gaunate

    • Lyginamasis vertinimas prieš ir po
    • Mokymo duomenų kilmės aprašas
    • Sprendimas palikti, atšaukti ar nutraukti

03 Architektūra

Iliustracinė etaloninė architektūra

Dauguma mūsų kuriamų įmonių generatyvinio DI sistemų turi tą pačią formą: paiešką Jūsų šaltiniuose, modelių šliuzą, apsauginius filtrus abiejose modelio pusėse ir po jais veikiantį vertinimo ir stebėsenos ciklą, kuris lemia, kas gali būti paleista.

Leidimų filtras yra paieškos viduje, ne naudotojo sąsajoje. Jei žmogus negali atidaryti dokumento šaltinio sistemoje, to dokumento fragmentai jo vardu niekada nepasiekia modelio.

Brėžinio sluoksniai

Šaltiniai
Dokumentų saugyklos, wiki ir verslo sistemos, taip pat tapatybės teikėjas, kuris žino, kas ką gali matyti.
Paieška
Įkėlimas, hibridinis indeksas, pakartotinis rikiavimas ir leidimų filtras.
Modeliai
Šliuzas, nukreipiantis užklausas tarp teikėjų, ES regione talpinamų ir savų modelių, su atsarginiais variantais ir podėliavimu.
Taikomoji programa
Atsakymai su šaltinių nuorodomis, atsisakymas atsakyti, kai trūksta įrodymų, ir apsauginiai filtrai įvesčiai bei išvesčiai.
Eksploatavimas ir tobulinimas
Etaloniniai rinkiniai, regresijos patikros, sekimas ir biudžetai. Gamybinės aplinkos sekimo duomenys tampa kito testų rinkinio dalimi.
Iliustracinis pavyzdys

  1. Šaltiniai

    • Dokumentų saugyklos ir wiki
    • Verslo sistemos
    • Tapatybės teikėjas

  2. Paieška

    • Įkėlimas ir skaidymas
    • Hibridinis indeksas
    • Leidimų filtras
    • Paieška ir pakartotinis rikiavimas

  3. Modeliai

    • Modelių šliuzas
    • Teikėjų, ES regiono ir savi modeliai
    • Įvesties ir išvesties filtrai

  4. Taikomoji programa

    • Programa su šaltinių nuorodomis

  5. Eksploatavimas ir tobulinimas

    • Etaloniniai rinkiniai ir regresijos patikros
    • Sekimas, kainos ir delsos biudžetai
Paieška, modelių šliuzas ir vertinimo ciklas

Iliustracinė architektūra, ne kliento sistema.

Skaityti diagramą kaip tekstą

Pagrindinė trasa veda nuo dokumentų saugyklų per įkėlimą, hibridinį indeksą, paiešką su pakartotiniu rikiavimu ir modelių šliuzą iki taikomosios programos.

Į įkėlimą duomenis teikia ir verslo sistemos. Tapatybės teikėjas teikia duomenis leidimų filtrui, kuris riboja paiešką. Apsauginiai filtrai tikrina taikomosios programos įvestį ir išvestį. Šliuzas nukreipia užklausas į teikėjų debesyje veikiančius pažangius modelius, ES regione talpinamus diegimus ir savo infrastruktūroje veikiančius atvirų svorių modelius.

Apačioje veikia vertinimo rinkinys su etaloniniais rinkiniais ir regresijos patikromis, taip pat stebėsena su sekimu, kainos ir delsos biudžetais. Gamybinės aplinkos sekimo duomenys papildo vertinimo rinkinį.

04 Aspektai ir ribos

Inžineriniai aspektai ir ribos

  • Kokybė matuojama, o ne žadama

    Kaip tai sprendžiame

    Kokybės kriterijus sutariame su Jūsų procesų savininkais ir pagal juos tikriname DI rezultatus prieš kiekvieną išleidimą ir po jo.

    Paiešką ir generavimą vertiname atskirai, todėl gedimas iškart parodo savo priežastį.

    Ribos ir priklausomybės

    DI rezultatai gali būti klaidingi. Todėl neaiškiems atvejams projektuojame peržiūros žingsnius, o kai trūksta įrodymų, sistema atsisako atsakyti.

    Testų rinkinys yra tiek geras, kiek geri jį padedantys sudaryti ekspertai. Jų laiko mums reikia jau pradžioje.

  • Leidimai keliauja kartu su turiniu

    Kaip tai sprendžiame

    Prieigos teisės užfiksuojamos įkėlimo metu ir taikomos užklausos metu pagal Jūsų tapatybės teikėjo duomenis.

    Ribos ir priklausomybės

    Jei šaltinio sistemos teises saugo taip, kad jų patikimai nuskaityti neįmanoma, tokio turinio į apimtį neįtraukiame, kol tai taps įmanoma.

    Šaltinyje per plačiai bendrinamas turinys lieka per plačiai bendrinamas. Paieška jį padaro lengviau randamą, todėl kartais pirmas žingsnis yra tvarka šaltinyje.

  • Kaina ir delsa yra projektavimo įvestys

    Kaip tai sprendžiame

    Kiekvienam užklausos tipui nustatomas biudžetas. Pagal jį derinamas maršrutizavimas, podėliavimas ir konteksto dydis, o skydeliai rodo, kur išleidžiami pinigai.

    Ribos ir priklausomybės

    Teikėjų kainos ir užklausų ribos keičiasi nepriklausomai nuo Jūsų. Šliuzas leidžia sureaguoti, bet kainų pokyčio nepanaikina.

  • Modeliai keičiasi jau veikiant sistemai

    Kaip tai sprendžiame

    Modeliai fiksuojami pagal versiją, o kiekvienas atnaujinimas, prieš pasiekdamas naudotojus, pereina visą vertinimo rinkinį.

    Ribos ir priklausomybės

    Teikėjų modeliai kartais nutraukiami trumpu įspėjimu. Kiekvienam panaudojimo atvejui planuojame alternatyvą, o šį planą turi patvirtinti savininkas.

05 Kaip dirbame

Kaip dirbame

Tvarka svarbi: pirmiausia nusprendžiame, kaip matuosime, ir tik tada, ką kursime.

  1. 01

    Apibrėžiame panaudojimo atvejį

    Kas juo naudosis, kokius sprendimus jis palaikys, kokius šaltinius gali naudoti ir kiek kainuoja klaidingas atsakymas.

    RezultatasPanaudojimo atvejo aprašas ir rizikos klasifikacija

  2. 02

    Sudarome etaloninį rinkinį

    Tikri klausimai ir laukiami atsakymai, surinkti su Jūsų srities ekspertais, įskaitant tuos, į kuriuos sistema turi atsisakyti atsakyti.

    RezultatasVersijuotas testų rinkinys

  3. 03

    Pirmiausia kuriame paiešką

    Įkėlimas, indeksas ir leidimų filtras derinami tol, kol paieškos kokybė pasiekia sutartą lygį.

    RezultatasPaieškos kokybės ataskaita

  4. 04

    Išleidžiame tik po patikrų

    Generavimas, apsauginiai filtrai ir šliuzas paleidžiami tik tada, kai vertinimo rinkinys CI sistemoje praeina sėkmingai.

    RezultatasIšleista versija su vertinimo įrodymais

  5. 05

    Eksploatuojame ir tobuliname

    Sekimo duomenys, atrankinė peržiūra ir naudotojų grįžtamasis ryšys tampa kito testų rinkinio ir kitos versijos pagrindu.

    RezultatasMėnesinė kokybės, kainos ir delsos peržiūra

06 Žmogaus kontrolė

Kur sprendžia žmonės

Generatyvinis DI rengia juodraščius, ieško ir siūlo. Žmonės sprendžia, ką jis gali matyti, kas laikoma geru rezultatu ir kas vyksta, kai jis nėra tikras.

  • Kokybę tvirtina savininkai

    Kiekvieno panaudojimo atvejo verslo savininkas tvirtina kokybės kriterijus ir išleidimo įrodymus, ne vien įgyvendinimo komanda.

  • Neaiškūs atsakymai perduodami žmogui

    Jei pasitikėjimas žemesnis už sutartą ribą, sistema atsisako atsakyti arba perduoda klausimą konkrečiai komandai.

  • Prieiga lieka šaltinyje

    Kas gali matyti dokumentą, sprendžiama šaltinio sistemoje ir Jūsų tapatybės teikėjo sistemoje, niekada DI sluoksnyje.

  • Grįžtamasis ryšys keičia sistemą

    Naudotojai gali pažymėti atsakymus. Žymas peržiūri žmonės, o patvirtintos klaidos tampa testų atvejais.

07 Technologijos

Technologijos, su kuriomis dirbame

Paieška
  • OpenSearch ir Elasticsearch
  • PostgreSQL su pgvector
  • Azure AI Search
  • Cross-encoder rikiavimo modeliai
Modeliai
  • Teikėjų debesyje veikiantys pažangūs modeliai
  • Valdomos modelių paslaugos ES regione
  • Atvirų svorių modeliai su vLLM
  • Įterpinių (embedding) modeliai kiekvienai kalbai
Vertinimas ir eksploatavimas
  • OpenTelemetry sekimas
  • CI pagrįsti vertinimo rinkiniai
  • Užklausų šablonų ir modelių registrai
  • Langfuse ar lygiavertis įrankis
Taikomoji programa
  • TypeScript ir Python paslaugos
  • Srautinio perdavimo API
  • Esami portalai, Salesforce, SAP ir Odoo naudotojo sąsajos

Technologijos paminėjimas apibūdina mūsų inžinerinę patirtį. Tai nereiškia partnerystės su jos gamintoju ar gamintojo pritarimo.

08 Pavyzdys

Iliustracinis pavyzdys

Iliustracinis pavyzdys

Teisinės informacijos asistentas ministerijai

01Situacija
Ministerijos specialistai kasdien ieško atsakymų įstatymuose, Vyriausybės nutarimuose ir ministro įsakymuose. Tas pats klausimas skirtinguose skyriuose sulaukia skirtingų atsakymų, o galiojančios redakcijos paieška užtrunka.
02Ką kurtume
Paieška teisės aktuose ir vidaus dokumentuose, kurioje prieigos teisės perimamos iš dokumentų valdymo sistemos, o kiekvienas atsakymas nurodo galiojantį teisės aktą ir jo punktą.
03Žmogaus kontrolė
Teisės skyrius tvirtina testų rinkinį ir kiekvieną išleidimą, keičiantį atsakymus, o neaiškius klausimus sistema perduoda atsakingam specialistui.
04Ką matuotume
Atsakymų, nurodančių teisingą galiojantį teisės aktą, dalis, atsisakymų atsakyti į klausimus už apimties ribų dalis ir vieno atsakymo kaina.

09 Sektoriaus požiūriu

Jūsų sektoriuje

  • Viešasis sektorius

    Asistentai specialistams ir gyventojams, kurie nurodo teisės šaltinį, veikia valstybine kalba ir kitomis reikalingomis kalbomis ir registruoja, kas kam buvo rasta.

  • Finansinės paslaugos

    Politikų ir procedūrų asistentai su griežtomis prieigos teisėmis, visišku atsekamumu ir modelių rizikos dokumentacija, kurią gali peržiūrėti Jūsų antroji gynybos linija.

  • Sveikatos priežiūra ir gyvybės mokslai

    Paieška protokoluose ir produktų dokumentacijoje su aiškiomis ribomis: jokių klinikinių sprendimų, o jautrūs duomenys lieka patvirtintose aplinkose.

Lietuva

Kelios kalbos, vienas vertinimo standartas

Dirbtinio intelekto aktas nustato vieną sistemą visai Europos Sąjungai, tačiau priežiūros institucijos ir kalbos, kuriomis parašytos Jūsų žinios, skiriasi. Lietuvoje akto rinkos priežiūros institucija ir bendrasis kontaktinis punktas yra Ryšių reguliavimo tarnyba (RRT), o asmens duomenų apsaugą prižiūri Valstybinė duomenų apsaugos inspekcija (VDAI).

Tai numatome jau analizės etape: paieška ir vertinimas kiekvienai kalbai, įskaitant lietuvių, duomenų buvimo vieta pagal panaudojimo atvejį, žurnalai ir dokumentacija, atsakantys į kiekvienos šalies klausimus be atskiros sistemos kiekvienai šaliai. Projektai, finansuojami pagal programą „Skaitmeninė Europa“, dažnai reikalauja būtent tokio pakartotinai naudojamo, dokumentuoto sprendimo.

Klausimai apie DI inžineriją

Kokį modelį rekomenduojate?

Tai priklauso nuo užduoties, naudojamų duomenų ir Jūsų talpinimo reikalavimų. Paprastai deriname kelis modelius: pajėgų modelį sudėtingo samprotavimo žingsniams, mažesnius ar savo infrastruktūroje veikiančius modelius klasifikavimui ir duomenų išgavimui, o ES regione talpinamus diegimus ten, kur duomenys turi likti ES.

Šliuzas leidžia šį pasirinkimą bet kada pakeisti, todėl atsakymas gali keistis kartu su modeliais ir kainomis.

Koks bus tikslumas?

Tikslumo nežadame, kol jo neišmatavome su Jūsų duomenimis. Kartu su Jumis sutariame kokybės kriterijus, sudarome testų rinkinį ir pagal jį pateikiame rezultatus prieš paleidimą ir po kiekvieno pakeitimo.

Modeliai klysta, todėl sprendime visada numatyta, kas vyksta tokiu atveju: atsisakymas atsakyti, peržiūros žingsniai ir kelias pas žmogų.

Ar mūsų duomenys bus naudojami kažkieno kito modeliui mokyti?

Mūsų projektuojamose architektūrose ne. Renkamės modelių paslaugas, kurių sąlygos neleidžia mokyti modelių Jūsų įvestimis, arba patys talpiname modelius Jūsų aplinkoje, o pasirinkimą kiekvienam panaudojimo atvejui dokumentuojame kartu su Jūsų saugumo komanda.

Ar mūsų panaudojimo atvejui taikomas Dirbtinio intelekto aktas?

Padedame suprasti, kokios pareigos gali būti taikomos, atsižvelgiant į panaudojimo atvejį ir Jūsų, kaip tiekėjo ar diegėjo, vaidmenį. Pagal tai projektuojame žurnalus, priežiūrą ir dokumentaciją, kad Jūsų teisininkai turėtų faktus išvadai. Lietuvoje akto rinkos priežiūros institucija ir bendrasis kontaktinis punktas yra Ryšių reguliavimo tarnyba (RRT).

Kaip užtikrinate saugumą ir jautrių duomenų apsaugą?

Įmonė FromNine sertifikuota pagal ISO/IEC 27001. Prieigos ribos, duomenų buvimo vieta ir saugojimo terminai sutariami prieš kuriant, o atakų imitavimas dėl užklausų injekcijų ir duomenų nutekėjimo yra mūsų sukurto išleidimo proceso dalis.

Nuo ko protingiausia pradėti?

Nuo vieno panaudojimo atvejo su aiškiu savininku, ribotu šaltinių rinkiniu ir testų rinkiniu, sudarytu kartu su Jūsų ekspertais. Taip gaunate veikiančią sistemą ir įrodymų apie kokybę, kainą ir delsą, o būtent jų reikia kitam investiciniam sprendimui.

Atsineškite vieną panaudojimo atvejį ir sunkiausius jo klausimus

Parodysime, kaip jį matuotume, dar prieš kalbėdami apie kūrimą.

Aptarkime Jūsų projektąOrganizacijos žinios