Ugrás a fő tartalomra
FromNine
Menü

MI és adatok

Generatív MI, amely éles üzemben is megállja a helyét.

Generatív MI-alkalmazásokat építünk szervezete saját tudására és adataira: a keresés tiszteletben tartja a jogosultságokat, minden kiadást kiértékelés előz meg, a költség, a minőség és a válaszidő pedig mindig látható.

Olyan szervezeteknek, amelyek magyar nyelvű tudásra építenek, és egy MI-platformot működtetnek több ország, nyelv és nemzeti szabályrendszer között.

Beszéljük meg a projektjétVállalati tudáskeresés
MI-fejlesztés és generatív MI: képességrétegekNégy egymásra épülő réteg. Fentről lefelé: keresés az Ön forrásaiban, a modellátjáró, a kiértékelés és a védőkorlátok, végül az alkalmazás, amelyben a felhasználók dolgoznak. Egy útvonal vezet a forrásoktól az alkalmazásig.01Keresés a saját forrásokban02Modellátjáró és útválasztás03Kiértékelés és védőkorlátok04Alkalmazás éles üzemben
  1. 01Válaszok, amelyek megjelölik a forrásukat; bizonyíték híján a rendszer nem válaszol
  2. 02Referencia-adatkészlet és regressziós kapuk, amelyeket az élesítés előtt egyeztetünk a csapataival
  3. 03Modellútválasztás és keretek, amelyekkel kérésenként látható a költség és a válaszidő

01 Problémák

Hol akad el a generatív MI

Ritkán a modell a nehéz rész. A legtöbb program azon akad el, ami körülötte van.

  1. 01

    A pilot lenyűgözött, utána senki sem tudta megmondani, jó-e

    A minőséget néhány ember ítélte meg néhány kérdés alapján. Nincs tesztkészlet, így minden promptmódosítás és modellfrissítés szerencsejáték.

  2. 02

    Az asszisztens olyan dokumentumokat mutat, amelyeket a felhasználó nem láthatna

    A tartalmat a hozzáférési jogai nélkül indexelték. Az információbiztonság és az üzemi tanács leállítja a bevezetést, és joggal.

  3. 03

    A költség gyorsabban nő, mint a használat

    Minden kérés a legnagyobb modellhez megy a leghosszabb kontextussal. Senki sem tudja, mennyibe kerül egy válasz, így kezelni sem tudja senki.

  4. 04

    A válaszok helyesnek hangzanak, de nem azok

    A keresés majdnem jó találatokat ad, a modell gördülékenyen kitölti a hézagokat, és a felhasználók a harmadik magabiztos tévedés után elveszítik a bizalmukat.

02 Szállítási tételek

Amit szállítunk

  1. 01 Keresés és vállalati tudásrendszerek

    Forrásonként megtervezett keresés: hogyan dolgozzuk fel és daraboljuk a tartalmat, hogyan kombináljuk a lexikális és a vektoros keresést, és hogyan kíséri a hozzáférési jog minden szövegrészt. Erre épülnek a vállalati tudásasszisztensek.

    Amit csinálunk

    • Forrásleltár felelősökkel, formátumokkal és hozzáférési modellekkel
    • Darabolási és metaadat-stratégia dokumentumtípusonként
    • Hibrid lexikális és vektoros keresés újrarangsorolással
    • Jogosultságkezelő keresés, amely átveszi a források hozzáférési jogait

    Amit Ön kap

    • Betöltési folyamatok változásfigyeléssel
    • Keresőszolgáltatás forrásmegjelöléssel és tartózkodási szabályokkal
    • Keresési minőségjelentés forrásonként

  2. 02 Modellstratégia kötöttség nélkül

    Modellátjáró az alkalmazásai és a modellek között, hogy feladat szerint irányíthasson, egy szolgáltató kiesésekor tartalékra válthasson, és modellt cserélhessen, amikor az árak és a képességek változnak.

    Amit csinálunk

    • Lehetőségek a felhőben elérhető élvonalbeli modellektől az EU-ban futó telepítéseken át a saját üzemeltetésű nyílt súlyú modellekig
    • Útválasztás feladat, adatérzékenység és költség szerint
    • Tartalékmegoldások, időkorlátok, gyorsítótárazás és kéréskorlátok
    • Adatkezelési feltételek átvizsgálása a jogi és információbiztonsági csapataival

    Amit Ön kap

    • Modellátjáró, az útválasztási szabályok konfigurációként
    • Modelldöntési feljegyzés felhasználási esetenként
    • Költség- és válaszidőkeret kéréstípusonként

  3. 03 Kiértékelés mérnöki módszerrel

    A minőségi feltételeket a folyamat gazdáival egyeztetjük, és olyan tesztkészletekké alakítjuk, amelyek minden változtatáskor lefutnak. A modellel végzett pontozást emberi felülvizsgálathoz kalibráljuk, mielőtt támaszkodunk rá.

    Amit csinálunk

    • Referencia-adatkészletek felhasználási esetenként, szakterületi szakértőkkel összeállítva
    • A keresés és a szöveggenerálás külön offline kiértékelése
    • Red teaming promptinjektálás és adatszivárgás ellen
    • Online kiértékelés éles visszajelzésekből és mintavételes felülvizsgálatból

    Amit Ön kap

    • Kiértékelési csomag a CI-ben, kiadási kapuként
    • Az üzleti gazda által jóváhagyott minőségi feltételek
    • Red teaming megállapítások és ellenintézkedések

  4. 04 LLMOps és megfigyelhetőség

    Nyomkövetés a kérdéstől a talált szövegrészeken és a modellhíváson át a válaszig, a promptok és a modellek kódként verziózva, a keretek éles üzemben betartatva.

    Amit csinálunk

    • Minden kérés nyomkövetése és strukturált naplózása
    • Promptok, modellek és indexek verziózása
    • Szemantikus és pontos gyorsítótárazás, ahol biztonságos
    • Sodródás- és minőségfigyelés riasztással

    Amit Ön kap

    • Irányítópultok a minőségről, a költségről és a válaszidőről
    • Incidenskezelési forgatókönyv MI-specifikus hibákra
    • Üzemeltetési útmutató modell- és indexfrissítésekhez

  5. 05 Beépített szabályozási megfelelés

    Az MI-rendeletet és a hazai végrehajtási törvényt szem előtt tartva tervezünk, a kockázati besorolástól és attól, hogy szervezete szolgáltató vagy alkalmazó, a naplózáson és az emberi felügyeleten át a dokumentációig. A jogi értékelés a saját jogi tanácsadójánál marad.

    Amit csinálunk

    • Felhasználási esetek besorolása és a kötelezettségek szerepkör szerint
    • Közreműködés a GDPR szerinti adatvédelmi hatásvizsgálatban
    • A naplózás és az emberi felügyelet megtervezése
    • Modell- és rendszerdokumentáció a kód mellett tartva

    Amit Ön kap

    • Rendszerdokumentációs csomag
    • Naplózási és megőrzési terv
    • Felügyeleti eljárás minden felhasználási esetre

  6. 06 Finomhangolás és dokumentum­értelmezés, ha a kiértékelés indokolja

    A finomhangolás, a desztilláció és a multimodális dokumentumértelmezés konkrét hiányosságokra való eszközök. Akkor használjuk őket, ha a kiértékelési csomag megmutatja, hogy a keresés és a promptolás nem elég, korábban nem.

    Amit csinálunk

    • Hiányelemzés a kiértékelési eredményekből
    • Adatelőkészítési és címkézési terv
    • Desztilláció kisebb modellekre a költség vagy a válaszidő miatt
    • Elrendezést értelmező adatkinyerés szkennelt és összetett dokumentumokból

    Amit Ön kap

    • Összehasonlító kiértékelés előtte és utána
    • A tanítóadatok eredetének nyilvántartása
    • Döntés a megtartásról, a visszaállításról vagy a kivezetésről

03 Architektúra

Szemléltető referencia­architektúra

Az általunk épített vállalati generatív MI-rendszerek többsége ugyanazt a felépítést követi: keresés a forrásokban, modellátjáró, védőkorlátok a modell mindkét oldalán, alatta pedig egy kiértékelési és megfigyelési kör, amely eldönti, mi kerülhet éles üzembe.

A jogosultságszűrő a keresésben ül, nem a felhasználói felületen. Ha valaki a forrásrendszerben nem nyithat meg egy dokumentumot, annak szövegrészei az ő nevében soha nem jutnak el a modellhez.

A rajz rétegei

Források
Dokumentumtárak, wikik és üzleti rendszerek, valamint az identitásszolgáltató, amely tudja, ki mit láthat.
Keresés
Betöltés, hibrid index, újrarangsorolás és jogosultságszűrő.
Modellek
Átjáró, amely felhőben elérhető, EU-ban futó és saját üzemeltetésű modellek között irányít, tartalékmegoldásokkal és gyorsítótárazással.
Alkalmazás
Forrásmegjelöléses válaszok, tartózkodás bizonyíték híján, védőkorlátok a bemeneten és a kimeneten.
Üzemeltetés és fejlesztés
Referenciakészletek, regressziós kapuk, nyomkövetés és keretek. Az éles nyomkövetési adatokból születik a következő tesztkészlet.
Szemléltető példa

  1. Források

    • Dokumentumtárak és wikik
    • Üzleti rendszerek
    • Identitás­szolgáltató

  2. Keresés

    • Betöltés és darabolás
    • Hibrid index
    • Jogosultság­szűrő
    • Keresés és újra­rangsorolás

  3. Modellek

    • Modellátjáró
    • Felhős, EU-ban futó és saját modellek
    • Bemeneti és kimeneti védőkorlátok

  4. Alkalmazás

    • Alkalmazás forrás­megjelöléssel

  5. Üzemeltetés és fejlesztés

    • Referenciakészletek és regressziós kapuk
    • Nyomkövetés, költség- és válaszidőkeret
Keresés, modellátjáró és kiértékelési kör

Szemléltető architektúra, nem ügyfélrendszer.

Az ábra szöveges változata

A fő útvonal a dokumentumtárakból a betöltésen, a hibrid indexen, az újrarangsoroló keresésen és a modellátjárón át vezet az alkalmazásig.

Az üzleti rendszerek szintén a betöltést táplálják. Az identitásszolgáltató egy jogosultságszűrőt lát el, amely korlátozza a keresést. Védőkorlátok ellenőrzik az alkalmazás bemenetét és kimenetét. Az átjáró felhőben elérhető élvonalbeli modellekhez, EU-ban futó telepítésekhez és saját üzemeltetésű nyílt súlyú modellekhez irányít.

Alul egy kiértékelési csomag referenciakészletekkel és regressziós kapukkal, valamint megfigyelhetőség nyomkövetéssel, költség- és válaszidőkeretekkel. Az éles nyomkövetési adatok a kiértékelési csomagot táplálják.

04 Szempontok és korlátok

Mérnöki szempontok és korlátok

  • A minőséget mérjük, nem ígérjük

    Hogyan kezeljük

    A minőségi feltételeket a folyamatgazdáival egyeztetjük, és minden kiadás előtt és után ezekhez mérjük az MI kimenetét.

    A keresést és a szöveggenerálást külön értékeljük ki, így egy hiba a saját okára mutat.

    Korlátok és függőségek

    Az MI kimenete lehet hibás. Ezért tervezünk felülvizsgálati lépést a bizonytalan esetekre és tartózkodást arra az esetre, ha nincs bizonyíték.

    Egy tesztkészlet csak annyira jó, amennyire az azt összeállító szakértők. Az idejükre már az elején szükségünk van.

  • A jogosultság a tartalommal együtt utazik

    Hogyan kezeljük

    A hozzáférési jogokat a betöltéskor rögzítjük, és lekérdezéskor az identitásszolgáltatója alapján érvényesítjük.

    Korlátok és függőségek

    Ha egy forrásrendszer a jogosultságokat nem megbízhatóan olvasható módon tárolja, az ottani tartalmat addig kihagyjuk, amíg ez nem változik.

    A forrásban túl szélesen megosztott tartalom túl szélesen megosztott marad. A keresés könnyebben megtalálhatóvá teszi, ezért néha a rendrakás az első lépés.

  • A költség és a válaszidő tervezési bemenet

    Hogyan kezeljük

    Minden kéréstípus keretet kap. Az útválasztást, a gyorsítótárazást és a kontextus méretét ehhez hangoljuk, az irányítópultok pedig megmutatják, hová megy a pénz.

    Korlátok és függőségek

    A szolgáltatók árai és kéréskorlátai az Ön befolyásán kívül változnak. Az átjáró lehetővé teszi a reagálást, de egy áremelést nem tüntet el.

  • A modellek változnak a rendszer alatt

    Hogyan kezeljük

    A modelleket verzió szerint rögzítjük, és minden frissítés a teljes kiértékelési csomagon fut át, mielőtt a felhasználókhoz kerül.

    Korlátok és függőségek

    A felhőben elérhető modelleket néha rövid határidővel kivezetik. Felhasználási esetenként alternatívát tervezünk, és ehhez a tervhez a gazda jóváhagyása kell.

05 Hogyan dolgozunk

Hogyan dolgozunk

A sorrend számít: előbb döntjük el, hogyan mérünk, és csak utána azt, mit építünk.

  1. 01

    A felhasználási eset keretezése

    Ki használja, milyen döntéseket támogat, mely forrásokhoz férhet hozzá, és mibe kerül egy rossz válasz.

    EredményFelhasználási eset leírása és kockázati besorolása

  2. 02

    A referencia­készlet összeállítása

    Valós kérdések és elvárt válaszok, a szakterületi szakértőivel gyűjtve, köztük azok is, amelyeket a rendszernek el kell utasítania.

    EredményVerziózott tesztkészlet

  3. 03

    Először a keresés

    Betöltés, index és jogosultságszűrő, addig hangolva, amíg a keresés minősége el nem éri az egyeztetett szintet.

    EredményKeresési minőségjelentés

  4. 04

    Kiadás kapuk mögött

    A szöveggenerálás, a védőkorlátok és az átjáró csak akkor kerül éles üzembe, ha a kiértékelési csomag a CI-ben sikeresen lefut.

    EredményKiadás kiértékelési bizonyítékkal

  5. 05

    Üzemeltetés és fejlesztés

    A nyomkövetés, a mintavételes felülvizsgálat és a felhasználói visszajelzés táplálja a következő tesztkészletet és a következő kiadást.

    EredményHavi minőségi, költség- és válaszidő-áttekintés

06 Emberi kontroll

Ahol az ember dönt

A generatív MI tervezetet ír, keres és javasol. Ember dönti el, mit láthat, mi számít jónak, és mi történjen, ha bizonytalan.

  • A gazda hagyja jóvá a minőséget

    A minőségi feltételeket és a kiadási bizonyítékot minden felhasználási esetnél az üzleti gazda hagyja jóvá, nem egyedül a fejlesztőcsapat.

  • A bizonytalan válasz emberhez kerül

    Egy egyeztetett megbízhatósági küszöb alatt a rendszer nem válaszol, vagy a kérdést egy megnevezett csapathoz továbbítja.

  • A hozzáférésről a forrás dönt

    Hogy ki láthat egy dokumentumot, azt a forrásrendszer és az identitásszolgáltatója dönti el, soha nem az MI-réteg.

  • A visszajelzés alakítja a rendszert

    A felhasználók megjelölhetik a válaszokat. A jelöléseket ember vizsgálja át, a megerősített hibákból tesztesetek lesznek.

07 Technológiák

Technológiák, amelyekkel dolgozunk

Keresés
  • OpenSearch és Elasticsearch
  • PostgreSQL pgvectorral
  • Azure AI Search
  • Cross-encoder újrarangsorolók
Modellek
  • Felhőben elérhető élvonalbeli modellek
  • EU-régióban futó menedzselt modellszolgáltatások
  • Nyílt súlyú modellek vLLM-en
  • Beágyazási modellek nyelvenként
Kiértékelés és üzemeltetés
  • OpenTelemetry nyomkövetés
  • CI-alapú kiértékelési csomagok
  • Prompt- és modellregiszterek
  • Langfuse vagy egyenértékű eszköz
Alkalmazás
  • TypeScript- és Python-szolgáltatások
  • Streamelő API-k
  • Meglévő portálok, Salesforce-, SAP- és Odoo-felületek

Egy technológia felsorolása a mérnöki tapasztalatunkat írja le. Nem jelent partnerséget a gyártóval, és nem jelenti azt, hogy a gyártó ajánlana minket.

08 Példa

Szemléltető példa

Szemléltető példa

Jogszabálykereső asszisztens egy vármegyei kormány­hivatalnak

01Helyzet
Az ügyintézők a hatályos jogszabályokban és a belső utasításokban keresik a választ, és ugyanarra a kérdésre osztályonként eltérő értelmezést adnak. Az utasítások gyakran változnak, és a régi változatok is elérhetők maradnak.
02Amit építenénk
Keresés a hatályos jogszabályokban és a belső utasításokban, a dokumentumtár hozzáférési jogaival, hatályossági metaadatokkal és olyan válaszokkal, amelyek mindig megjelölik az irányadó jogszabályhelyet vagy utasítást.
03Ahol ember dönt
A jogi osztály hagyja jóvá a tesztkészletet és minden olyan kiadást, amely a válaszok tartalmát megváltoztatja. A döntést az ügyben továbbra is az ügyintéző hozza.
04Amit mérnénk
A helyes irányadó forrást megjelölő válaszok aránya, a tartózkodás aránya a hatáskörön kívüli kérdéseknél és a hatályon kívüli szövegre hivatkozó válaszok száma.

09 Ágazati nézőpont

Az Ön ágazatában

  • Közszféra

    Asszisztensek ügyintézőknek és állampolgároknak, amelyek a hatályos jogszabályt idézik, és naplózzák, mit kerestek elő és kinek.

  • Pénzügyi szolgáltatások

    Szabályzat- és eljárásasszisztensek szigorú jogosultságokkal, teljes visszakereshetőséggel és olyan modellkockázati dokumentációval, amelyet a második védelmi vonal át tud vizsgálni.

  • Egészségügy és élettudományok

    Keresés protokollokban és termékdokumentációban világos határokkal: nincs klinikai döntés, az érzékeny adatok jóváhagyott környezetben maradnak.

Magyarország

Magyar nyelvű tudás, egy kiértékelési mérce

A magyar toldalékoló nyelv: egy szó sokféle alakban szerepel a dokumentumokban, ezért a keresésnek nyelvi elemzéssel és magyar szövegeken mért kiértékeléssel kell dolgoznia. Egy nemzetközi csoport magyar tagjánál a tudás ráadásul gyakran magyarul, angolul és németül is megvan.

Az MI-rendelet egységes keretet ad, amelyet Magyarországon a 2025. évi LXXV. törvény hajt végre; ez a törvény hozta létre a Magyar Mesterséges Intelligencia Tanácsot. Az adatvédelemben a NAIH a hazai hatóság. Ezért már a feltáráskor nyelvenkénti keresést és kiértékelést, felhasználási esetenként meghatározott adattárolást, valamint olyan naplózást és dokumentációt tervezünk, amely külön rendszer nélkül válaszol a hazai kérdésekre. A Digitális Európa program által finanszírozott projektek gyakran éppen ilyen újrahasznosítható, dokumentált tervezést kérnek.

Kérdések az MI-fejlesztésről

Melyik modellt ajánlják?

Ez a feladattól, az érintett adatoktól és az üzemeltetési követelményeitől függ. Általában több modellt kombinálunk: egy erős modellt az érvelést igénylő lépésekhez, kisebb vagy saját üzemeltetésű modelleket az osztályozáshoz és az adatkinyeréshez és EU-ban futó telepítéseket, ahol az adatoknak az EU-ban kell maradniuk.

Az átjáró visszafordíthatóvá teszi ezt a döntést, így a válasz változhat, ahogy a modellek és az árak is változnak.

Mennyire lesz pontos?

Pontosságot nem ígérünk, amíg nem mértük meg az Ön adatain. Egyeztetjük a minőségi feltételeket, tesztkészletet építünk, és az élesítés előtt, valamint minden változtatás után ehhez mérve jelentünk.

A modellek hibáznak, ezért a tervben mindig benne van, mi történik ilyenkor: tartózkodás, felülvizsgálati lépés és egy út egy emberhez.

Felhasználják az adatainkat valaki más modelljének tanításához?

Az általunk tervezett architektúrákban nem. Olyan modellszolgáltatásokat választunk, amelyek feltételei kizárják a bemenetek tanításra való felhasználását, vagy a modelleket a saját környezetében üzemeltetjük, és a döntést felhasználási esetenként dokumentáljuk az információbiztonsági csapatával.

Vonatkozik az MI-rendelet a felhasználási esetünkre?

Segítünk megérteni, mely kötelezettségek vonatkozhatnak szervezetére a felhasználási eset alapján, és aszerint, hogy szolgáltatóként vagy alkalmazóként jár el. Ehhez igazítjuk a naplózást, a felügyeletet és a dokumentációt, így jogi tanácsadója a tények ismeretében dönthet, a hazai végrehajtási törvényt (2025. évi LXXV. törvény) is figyelembe véve.

Hogyan kezelik a biztonságot és az érzékeny adatokat?

A FromNine ISO/IEC 27001 szerint tanúsított. A hozzáférési határokat, az adatok tárolási helyét és a megőrzést a fejlesztés előtt egyeztetjük, a promptinjektálás és az adatszivárgás elleni red teaming pedig része az általunk kialakított kiadási folyamatnak.

Mi az ésszerű első lépés?

Egy felhasználási eset egyértelmű gazdával, korlátozott forrásokkal és a szakértőivel épített tesztkészlettel. Így működő rendszert kap, és bizonyítékot a minőségről, a költségről és a válaszidőről, amire a következő beruházási döntéshez szükség van.

Hozzon egy felhasználási esetet és a legnehezebb kérdéseit

Megmutatjuk, hogyan mérnénk, mielőtt a fejlesztésről beszélünk.

Beszéljük meg a projektjétVállalati tudáskeresés