Pāriet uz galveno saturu
FromNine
Izvēlne

MI un dati

Ģeneratīvais MI, kas iztur ekspluatāciju.

Mēs veidojam ģeneratīvā MI lietotnes, kas balstās uz Jūsu zināšanām un datiem: izgūšana ievēro piekļuves tiesības, novērtēšana kontrolē katru laidienu, un izmaksas, kvalitāte un aizkave ir redzamas.

Organizācijām, kuru zināšanas ir rakstītas vairākās valodās un kurām MI jāatbilst gan ES, gan Latvijas uzraudzības prasībām.

Pieteikt sarunuApskatīt zināšanu risinājumu
MI inženierija un ģeneratīvais MI: spēju slāņiČetri slāņi viens aiz otra. No augšas uz leju: izgūšana no Jūsu avotiem, modeļu vārteja, novērtēšana un aizsargmehānismi, un lietotne, kurā strādā Jūsu lietotāji. Viens ceļš ved no avotiem līdz lietotnei.01Izgūšana no Jūsu avotiem02Modeļu vārteja un maršrutēšana03Novērtēšana un aizsarg­mehānismi04Lietotne ekspluatācijā
  1. 01Atbildes norāda avotus un atsakās atbildēt, ja trūkst pierādījumu
  2. 02Etalona testu kopa un regresijas pārbaudes, saskaņotas ar Jūsu komandām pirms ieviešanas
  3. 03Modeļu maršrutēšana un budžeti, kas padara redzamas katra pieprasījuma izmaksas un aizkavi

01 Problēmas

Kur ģeneratīvais MI iestrēgst

Modelis reti ir grūtākā daļa. Lielāko daļu programmu aptur viss, kas ir ap to.

  1. 01

    Pilotprojekts pārsteidza, bet neviens nevarēja pateikt, vai tas ir labs

    Kvalitāti vērtēja daži cilvēki, uzdodot dažus jautājumus. Testu kopas nav, tāpēc katra uzvednes maiņa vai modeļa jauninājums ir azartspēle.

  2. 02

    Asistents rāda dokumentus, kurus lietotājs nedrīkst redzēt

    Saturs tika indeksēts bez piekļuves tiesībām. Drošības speciālisti un darbinieku pārstāvji aptur ieviešanu, un viņiem ir taisnība.

  3. 03

    Izmaksas aug ātrāk nekā lietojums

    Katrs pieprasījums nonāk lielākajā modelī ar garāko kontekstu. Neviens nezina vienas atbildes cenu, tāpēc neviens to nevar pārvaldīt.

  4. 04

    Atbildes izklausās pareizas, bet tādas nav

    Izgūšana atgriež gandrīz atbilstošus fragmentus, modelis raiti aizpilda robus, un pēc trešās pārliecinātās kļūdas lietotāji zaudē uzticību.

02 Ko piegādājam

Ko mēs piegādājam

  1. 01 Izgūšana un uzņēmuma zināšanu sistēmas

    Izgūšanu projektējam katram avotam: kā saturu parsēt un sadalīt fragmentos, kā apvienot leksisko un vektoru meklēšanu un kā piekļuves tiesības seko katram fragmentam. Tas ir pamats uzņēmuma zināšanu asistentiem.

    Ko mēs darām

    • Avotu uzskaite ar īpašniekiem, formātiem un piekļuves modeļiem
    • Fragmentu un metadatu stratēģija katram dokumentu veidam
    • Hibrīdā leksiskā un vektoru meklēšana ar rezultātu pārkārtošanu
    • Izgūšana, kas manto avota piekļuves tiesības

    Ko Jūs saņemat

    • Ielādes konveijeri ar izmaiņu noteikšanu
    • Izgūšanas pakalpojums ar avotu norādēm un atteikšanās noteikumiem
    • Izgūšanas kvalitātes pārskats katram avotam

  2. 02 Modeļu stratēģija bez piesaistes

    Modeļu vārteja starp Jūsu lietotnēm un modeļiem ļauj maršrutēt pēc uzdevuma, pārslēgties uz rezerves variantu, ja pakalpojuma sniedzējs nedarbojas, un nomainīt modeļus, mainoties cenām un spējām.

    Ko mēs darām

    • Iespējas starp lielajiem mākonī mitinātajiem modeļiem, ES mitinātām izvietošanām un pašu mitinātiem atvērtu svaru modeļiem
    • Maršrutēšana pēc uzdevuma, datu jutīguma un izmaksām
    • Rezerves varianti, laika limiti, kešatmiņa un pieprasījumu limiti
    • Datu apstrādes noteikumi, pārskatīti kopā ar Jūsu juristiem un drošības komandu

    Ko Jūs saņemat

    • Modeļu vārteja ar maršrutēšanas politiku kā konfigurāciju
    • Modeļa lēmuma pieraksts katram lietojumam
    • Izmaksu un aizkaves budžets katram pieprasījuma veidam

  3. 03 Novērtēšana kā inženierijas disciplīna

    Kvalitātes kritērijus saskaņojam ar procesa īpašniekiem un pārvēršam testu kopās, kas darbojas pie katras izmaiņas. Pārbaudes, ko vērtē modelis, vispirms salīdzinām ar cilvēku vērtējumu un tikai tad uz tām paļaujamies.

    Ko mēs darām

    • Etalona testu kopas katram lietojumam, veidotas kopā ar nozares ekspertiem
    • Izgūšanas un ģenerēšanas atsevišķa bezsaistes novērtēšana
    • Uzbrukumu simulācija uzvednes injekcijai un datu noplūdei
    • Tiešsaistes novērtēšana no ekspluatācijas atsauksmēm un izlases pārbaudēm

    Ko Jūs saņemat

    • Novērtēšanas testi CI kā laidiena nosacījums
    • Kvalitātes kritēriji, ko apstiprinājis procesa īpašnieks
    • Uzbrukumu simulācijas atradumi un mazināšanas pasākumi

  4. 04 LLMOps un novērojamība

    Trasēšana no jautājuma līdz izgūtajiem fragmentiem, modeļa izsaukumam un atbildei, ar uzvedņu un modeļu versijām, ko pārvalda kā kodu, un budžetiem, kas tiek ievēroti ekspluatācijā.

    Ko mēs darām

    • Katra pieprasījuma trasēšana un strukturēta žurnālēšana
    • Uzvedņu, modeļu un indeksu versiju pārvaldība
    • Semantiskā un precīzā kešošana, kur tā ir droša
    • Novirzes un kvalitātes uzraudzība ar brīdinājumiem

    Ko Jūs saņemat

    • Paneļi kvalitātei, izmaksām un aizkavei
    • Incidentu rīcības plāns MI specifiskām kļūmēm
    • Darbības rokasgrāmata modeļu un indeksu atjaunināšanai

  5. 05 Pārvaldība jau projektējumā

    Projektējam, ņemot vērā Mākslīgā intelekta aktu: no riska klasifikācijas un Jūsu lomas (nodrošinātājs vai uzturētājs) līdz žurnālēšanai, cilvēka virsvadībai un dokumentācijai. Juridiskais vērtējums paliek Jūsu juristiem.

    Ko mēs darām

    • Lietojuma klasifikācija un pienākumi atbilstoši lomai
    • Ieguldījums datu aizsardzības ietekmes novērtējumā saskaņā ar VDAR
    • Žurnālēšanas un cilvēka uzraudzības projektējums
    • Modeļa un sistēmas dokumentācija, ko glabā kopā ar kodu

    Ko Jūs saņemat

    • Sistēmas dokumentācijas komplekts
    • Žurnālēšanas un glabāšanas projektējums
    • Cilvēka virsvadības procedūra katram lietojumam

  6. 06 Pielāgošana un dokumentu izpratne, kad to rāda novērtēšana

    Modeļu pielāgošana, destilācija un multimodāla dokumentu izpratne ir rīki konkrētiem trūkumiem. Tos izmantojam, kad novērtēšana rāda, ka ar izgūšanu un uzvednēm nepietiek, un ne agrāk.

    Ko mēs darām

    • Trūkumu analīze no novērtēšanas rezultātiem
    • Datu sagatavošanas un marķēšanas plāns
    • Destilācija uz mazākiem modeļiem izmaksu vai aizkaves dēļ
    • Izkārtojumu ievērojoša datu izguve no skenētiem un sarežģītiem dokumentiem

    Ko Jūs saņemat

    • Salīdzinošs novērtējums pirms un pēc
    • Apmācības datu izcelsmes pieraksts
    • Lēmums paturēt, atcelt vai izbeigt

03 Arhitektūra

Ilustratīva atsauces arhitektūra

Lielākajai daļai uzņēmumu ģeneratīvā MI sistēmu, ko veidojam, ir viena forma: izgūšana no Jūsu avotiem, modeļu vārteja, aizsargmehānismi abās modeļa pusēs un zem tā novērtēšanas un novērojamības cikls, kas nosaka, kas drīkst nonākt ekspluatācijā.

Piekļuves filtrs atrodas izgūšanā, nevis lietotāja saskarnē. Ja cilvēks nevar atvērt dokumentu avota sistēmā, tā fragmenti viņa vārdā nekad nenonāk līdz modelim.

Slāņi zīmējumā

Avoti
Dokumentu krātuves, wiki un uzņēmuma sistēmas, kā arī identitātes nodrošinātājs, kas zina, kurš ko drīkst redzēt.
Izgūšana
Ielāde, hibrīdindekss, pārkārtošana un piekļuves filtrs.
Modeļi
Vārteja, kas maršrutē starp mākonī mitinātiem, ES mitinātiem un pašu mitinātiem modeļiem, ar rezerves variantiem un kešatmiņu.
Lietotne
Atbildes ar avotu norādēm, atteikšanās atbildēt bez pierādījumiem un aizsargmehānismi ievadei un izvadei.
Darbība un uzlabošana
Etalona kopas, regresijas pārbaudes, trasējumi un budžeti. Ekspluatācijas trasējumi papildina nākamo testu kopu.
Ilustratīvs piemērs

  1. Avoti

    • Dokumentu krātuves un wiki
    • Uzņēmuma sistēmas
    • Identitātes nodrošinātājs

  2. Izgūšana

    • Ielāde un sadalīšana
    • Hibrīdindekss
    • Piekļuves filtrs
    • Izgūšana un pārkārtošana

  3. Modeļi

    • Modeļu vārteja
    • Mākoņa, ES un pašu modeļi
    • Ievades un izvades aizsardzība

  4. Lietotne

    • Lietotne ar avotu norādēm

  5. Darbība un uzlabošana

    • Etalona kopas un regresijas testi
    • Trasējumi, izmaksu un aizkaves budžeti
Izgūšana, modeļu vārteja un novērtēšanas cikls

Ilustratīva arhitektūra, nevis klienta sistēma.

Lasīt diagrammu kā tekstu

Galvenais ceļš ved no dokumentu krātuvēm caur ielādi, hibrīdindeksu, izgūšanu ar pārkārtošanu un modeļu vārteju līdz lietotnei.

Ielādei datus sniedz arī uzņēmuma sistēmas. Identitātes nodrošinātājs sniedz datus piekļuves filtram, kas ierobežo izgūšanu. Aizsargmehānismi pārbauda lietotnes ievadi un izvadi. Vārteja maršrutē uz lielajiem mākonī mitinātajiem modeļiem, ES mitinātām izvietošanām un pašu mitinātiem atvērtu svaru modeļiem.

Zem tiem ir novērtēšanas testi ar etalona kopām un regresijas pārbaudēm, kā arī novērojamība ar trasējumiem, izmaksu un aizkaves budžetiem. Ekspluatācijas trasējumi papildina novērtēšanas testus.

04 Apsvērumi un ierobežojumi

Inženierijas apsvērumi un ierobežojumi

  • Kvalitāti mēra, nevis sola

    Kā mēs to risinām

    Kvalitātes kritērijus saskaņojam ar Jūsu procesu īpašniekiem un pārbaudām MI rezultātus pret tiem pirms un pēc katra laidiena.

    Izgūšanu un ģenerēšanu novērtējam atsevišķi, lai kļūme norādītu uz savu cēloni.

    Ierobežojumi un atkarības

    MI rezultāti var būt kļūdaini. Tāpēc nedrošiem gadījumiem projektējam pārbaudes soļus, bet bez pierādījumiem sistēma atsakās atbildēt.

    Testu kopa ir tik laba, cik labi ir eksperti, kas palīdz to veidot. Viņu laiks mums vajadzīgs jau sākumā.

  • Piekļuves tiesības seko saturam

    Kā mēs to risinām

    Piekļuves tiesības tiek nolasītas ielādes laikā un piemērotas vaicājuma brīdī, izmantojot Jūsu identitātes nodrošinātāju.

    Ierobežojumi un atkarības

    Ja avota sistēmas glabā tiesības tā, ka tās nevar uzticami nolasīt, šādu saturu atstājam ārpus apjoma, līdz tas kļūst iespējams.

    Avotā pārāk plaši koplietots saturs paliek pārāk plaši koplietots. Izgūšana to padara vieglāk atrodamu, tāpēc dažreiz pirmais solis ir sakārtošana.

  • Izmaksas un aizkave ir projektēšanas ievaddati

    Kā mēs to risinām

    Katram pieprasījuma veidam ir budžets. Maršrutēšanu, kešošanu un konteksta apjomu pielāgojam tam, un paneļi rāda, kur aiziet nauda.

    Ierobežojumi un atkarības

    Pakalpojumu sniedzēju cenas un limiti mainās ārpus Jūsu kontroles. Vārteja ļauj reaģēt, bet nevar likt cenu izmaiņām izzust.

  • Modeļi mainās neatkarīgi no Jums

    Kā mēs to risinām

    Modeļiem fiksējam versijas, un katrs jauninājums iziet visus novērtēšanas testus, pirms nonāk pie lietotājiem.

    Ierobežojumi un atkarības

    Mākonī mitinātus modeļus dažkārt izņem no lietošanas ar īsu brīdinājumu. Katram lietojumam plānojam alternatīvu, un šim plānam vajadzīgs īpašnieka apstiprinājums.

05 Kā strādājam

Kā mēs strādājam

Secība ir svarīga: vispirms izlemjam, kā mērīsim, un tikai tad, ko veidosim.

  1. 01

    Definēt lietojumu

    Kas to lieto, kurus lēmumus tas atbalsta, kurus avotus tas drīkst skart un cik maksā nepareiza atbilde.

    RezultātsLietojuma apraksts un riska klasifikācija

  2. 02

    Izveidot etalona kopu

    Īsti jautājumi un sagaidāmās atbildes, ko savācam kopā ar Jūsu nozares ekspertiem, ieskaitot tos, uz kuriem sistēmai jāatsakās atbildēt.

    RezultātsTestu kopa ar versijām

  3. 03

    Vispirms izgūšana

    Ielāde, indekss un piekļuves filtrs, pielāgoti, līdz izgūšanas kvalitāte sasniedz saskaņoto līmeni.

    RezultātsIzgūšanas kvalitātes pārskats

  4. 04

    Laidiens tikai pēc pārbaudēm

    Ģenerēšana, aizsargmehānismi un vārteja nonāk ekspluatācijā tikai tad, kad novērtēšanas testi CI ir izturēti.

    RezultātsLaidiens ar novērtēšanas pierādījumiem

  5. 05

    Uzturēt un uzlabot

    Trasējumi, izlases pārbaudes un lietotāju atsauksmes papildina nākamo testu kopu un nākamo laidienu.

    RezultātsIkmēneša kvalitātes, izmaksu un aizkaves pārskats

06 Cilvēka kontrole

Kur kontrole paliek cilvēkiem

Ģeneratīvais MI sagatavo melnrakstus, izgūst un iesaka. Cilvēki lemj, ko tas drīkst redzēt, kas ir labs rezultāts un kas notiek, ja tas nav drošs.

  • Kvalitāti apstiprina īpašnieki

    Katra lietojuma īpašnieks uzņēmumā apstiprina kvalitātes kritērijus un laidiena pierādījumus, nevis tikai piegādes komanda.

  • Nedrošas atbildes nonāk pie cilvēka

    Zem saskaņota ticamības sliekšņa sistēma atsakās atbildēt vai nodod jautājumu konkrētai komandai.

  • Piekļuve paliek avotā

    Kurš drīkst redzēt dokumentu, nosaka avota sistēma un Jūsu identitātes nodrošinātājs, nekad MI slānis.

  • Atsauksmes maina sistēmu

    Lietotāji var atzīmēt atbildes. Atzīmes pārskata cilvēki, un apstiprinātas kļūmes kļūst par testa gadījumiem.

07 Tehnoloģijas

Tehnoloģijas, ar kurām strādājam

Izgūšana
  • OpenSearch un Elasticsearch
  • PostgreSQL ar pgvector
  • Azure AI Search
  • Cross-encoder pārkārtotāji
Modeļi
  • Lielie mākonī mitinātie modeļi
  • Pārvaldīti modeļu pakalpojumi ES reģionos
  • Atvērtu svaru modeļi uz vLLM
  • Iegultņu modeļi katrai valodai
Novērtēšana un darbība
  • OpenTelemetry trasēšana
  • Novērtēšanas testi CI vidē
  • Uzvedņu un modeļu reģistri
  • Langfuse vai līdzvērtīgs rīks
Lietotne
  • TypeScript un Python pakalpojumi
  • Straumēšanas API
  • Esošie portāli, Salesforce, SAP un Odoo saskarnes

Tehnoloģijas nosaukums šajā sarakstā apraksta mūsu inženierijas pieredzi. Tas nenozīmē partnerību ar tās piegādātāju vai tā atbalstu.

08 Piemērs

Ilustratīvs piemērs

Ilustratīvs piemērs

Tiesību informācijas asistents ministrijai

01Situācija
Ministrijas speciālisti katru dienu meklē atbildes likumos, Ministru kabineta noteikumos un iekšējos skaidrojumos. Vieni un tie paši jautājumi saņem atšķirīgas atbildes, un pārbaudīt, kura norma ir spēkā, aizņem laiku.
02Ko mēs izveidotu
Izgūšana no konsolidētiem tiesību aktiem un iestādes iekšējiem dokumentiem ar piekļuves tiesībām, kas mantotas no dokumentu pārvaldības sistēmas, un atbildēm, kas norāda konkrēto normu un tās redakciju.
03Kur lemj cilvēki
Juridiskā departamenta atbildīgais speciālists apstiprina testu kopu un katru laidienu, kas maina atbildes. Lēmumus lietās pieņem cilvēki, nevis asistents.
04Ko mēs mērītu
To atbilžu daļa, kas norāda pareizo normu, atteikšanās biežums jautājumiem ārpus apjoma un vienas atbildes izmaksas.

09 Nozares skatījums

Jūsu nozarē

  • Publiskais sektors un valsts pārvalde

    Asistenti atbildīgajiem speciālistiem un iedzīvotājiem, kas norāda tiesību avotu, strādā ar iestādes dokumentiem to valodā un žurnālē, kas kuram izgūts.

  • Finanšu pakalpojumi

    Politiku un procedūru asistenti ar stingrām piekļuves tiesībām, pilnu izsekojamību un modeļu riska dokumentāciju, ko var pārbaudīt otrā aizsardzības līnija.

  • Veselības aprūpe un dzīvības zinātnes

    Izgūšana no protokoliem un produktu dokumentācijas ar skaidrām robežām: nekādu klīnisku lēmumu, sensitīvi dati paliek apstiprinātās vidēs.

Latvija

Vairākas valodas, viens novērtēšanas standarts

Latvijas organizāciju zināšanas bieži ir rakstītas gan latviešu, gan angļu valodā, bet Baltijas grupām arī lietuviešu un igauņu valodā. Mākslīgā intelekta akts nosaka vienotu ietvaru visā ES. Latvijā akta tirgus uzraudzības vienotais kontaktpunkts ir Patērētāju tiesību aizsardzības centrs (PTAC), bet finanšu tirgus dalībniekiem akta prasību ievērošanu uzrauga Latvijas Banka.

To ņemam vērā jau izpētes posmā: izgūšanu un novērtēšanu veidojam katrai valodai, datu glabāšanas vietu nosakām katram lietojumam, un žurnālēšana un dokumentācija atbild uz katras valsts jautājumiem bez atsevišķas sistēmas katrai valstij. Projekti, ko finansē programma „Digitālā Eiropa”, bieži prasa tieši šādu atkārtoti izmantojamu, dokumentētu risinājumu.

Jautājumi par MI inženieriju

Kuru modeli iesakāt?

Tas atkarīgs no uzdevuma, iesaistītajiem datiem un Jūsu mitināšanas prasībām. Parasti apvienojam vairākus modeļus: spējīgu modeli soļiem, kas prasa spriešanu, mazākus vai pašu mitinātus modeļus klasifikācijai un datu izguvei, un ES mitinātas izvietošanas, ja datiem jāpaliek Eiropas Savienībā.

Vārteja ļauj šo izvēli mainīt, tāpēc atbilde var mainīties līdz ar modeļiem un cenām.

Cik precīza būs sistēma?

Precizitāti nesolām, kamēr neesam to izmērījuši ar Jūsu datiem. Kopā ar Jums saskaņojam kvalitātes kritērijus, izveidojam testu kopu un pirms ieviešanas un pēc katras izmaiņas ziņojam par rezultātiem šajā testu kopā.

Modeļi kļūdās, tāpēc projektējums vienmēr paredz, kas notiek kļūdas gadījumā: atteikšanos atbildēt, pārbaudes soļus un ceļu līdz cilvēkam.

Vai mūsu datus izmantos cita modeļa apmācībai?

Ne mūsu projektētajās arhitektūrās. Izvēlamies modeļu pakalpojumus, kuru noteikumi izslēdz apmācību ar Jūsu ievaddatiem, vai mitinām modeļus paši Jūsu vidē, un katram lietojumam šo izvēli dokumentējam kopā ar Jūsu drošības komandu.

Vai Mākslīgā intelekta akts attiecas uz mūsu lietojumu?

Mēs palīdzam saprast, kuri pienākumi var attiekties uz Jums, atkarībā no lietojuma un Jūsu lomas (nodrošinātājs vai uzturētājs), un atbilstoši projektējam žurnālēšanu, cilvēka virsvadību un dokumentāciju, lai Jūsu juristiem būtu fakti secinājuma izdarīšanai. Latvijā akta tirgus uzraudzības vienotais kontaktpunkts ir Patērētāju tiesību aizsardzības centrs (PTAC), bet finanšu tirgus dalībniekiem akta prasību ievērošanu uzrauga Latvijas Banka.

Kā tiek nodrošināta drošība un sensitīvu datu aizsardzība?

Uzņēmumam FromNine ir ISO/IEC 27001 sertificēta informācijas drošības pārvaldība. Piekļuves robežas, datu glabāšanas vietu un glabāšanas termiņus saskaņojam pirms izstrādes, un uzbrukumu simulācija, kas pārbauda uzvedņu injekcijas un datu noplūdes riskus, ir daļa no laidiena procesa, ko ieviešam.

Kāds ir saprātīgs pirmais solis?

Viens lietojums ar skaidru īpašnieku, ierobežotu avotu kopu un testu kopu, kas veidota kopā ar Jūsu ekspertiem. Tā Jūs iegūstat darbojošos sistēmu un pierādījumus par kvalitāti, izmaksām un aizkavi, un tieši tas vajadzīgs nākamā ieguldījuma lēmumam.

Atnesiet vienu lietojumu un tā grūtākos jautājumus

Mēs parādīsim, kā to mērītu, pirms runājam par izstrādi.

Pieteikt sarunuApskatīt zināšanu risinājumu