Preskočiť na hlavný obsah
FromNine
Ponuka

AI a dáta

Generatívna AI, ktorá obstojí v produkcii.

Staviame aplikácie generatívnej umelej inteligencie (AI) nad vašimi znalosťami a dátami: s vyhľadávaním, ktoré rešpektuje oprávnenia, s hodnotením, ktoré stráži každé vydanie, a s nákladmi, kvalitou a odozvou, ktoré vidíte.

Pre organizácie, ktoré prevádzkujú jednu AI platformu vo viacerých krajinách, jazykoch a národných pravidlách.

Konzultovať váš projektFiremné znalosti
AI inžinierstvo a GenAI: vrstvy schopnostíŠtyri vrstvy uložené do hĺbky. Zhora nadol: vyhľadávanie vo vašich zdrojoch, brána k modelom, hodnotenie a ochranné mechanizmy a aplikácia, v ktorej pracujú vaši používatelia. Jedna trasa vedie od zdrojov k aplikácii.01Vyhľadávanie vo vašich zdrojoch02Brána a smerovanie modelov03Hodnotenie a ochranné mechanizmy04Aplikácia v produkcii
  1. 01Odpovede, ktoré citujú zdroj a odmietnu odpovedať, keď chýbajú podklady
  2. 02Referenčná sada otázok a regresné brány dohodnuté s vašimi tímami pred spustením
  3. 03Smerovanie modelov a rozpočty, vďaka ktorým vidíte náklady a odozvu každej požiadavky

01 Problémy

Kde generatívna AI uviazne

Model je zriedka tým najťažším. Väčšinu programov zabrzdí všetko, čo je okolo neho.

  1. 01

    Pilot zaujal, potom nikto nevedel povedať, či je dobrý

    Kvalitu posúdilo pár ľudí pár otázkami. Testovacia sada neexistuje, takže každá zmena promptu alebo nový model je hazard.

  2. 02

    Asistent ukazuje ľuďom dokumenty, ktoré nemajú vidieť

    Obsah sa indexoval bez prístupových práv. Bezpečnostný tím a zástupcovia zamestnancov nasadenie zastavia, a majú pravdu.

  3. 03

    Náklady rastú rýchlejšie ako používanie

    Každá požiadavka ide na najväčší model s najdlhším kontextom. Nikto nepozná cenu jednej odpovede, a preto ju nikto nemôže riadiť.

  4. 04

    Odpovede znejú správne, ale správne nie sú

    Vyhľadávanie vracia pasáže, ktoré sú len blízko cieľa, model medzery plynulo doplní a po tretej sebavedomej chybe používatelia stratia dôveru.

02 Čo dodávame

Čo dodávame

  1. 01 Vyhľadávanie a systémy firemných znalostí

    Vyhľadávanie navrhnuté pre každý zdroj zvlášť: ako sa obsah spracuje a rozdelí, ako sa spojí fulltextové a vektorové vyhľadávanie a ako prístupové práva putujú s každou pasážou. Základ pre asistentov firemných znalostí.

    Čo robíme

    • Súpis zdrojov s vlastníkmi, formátmi a modelmi prístupu
    • Stratégia delenia obsahu a metadát pre každý typ dokumentu
    • Hybridné fulltextové a vektorové vyhľadávanie s preradením výsledkov
    • Vyhľadávanie, ktoré preberá prístupové práva zo zdroja

    Čo dostanete

    • Pipeline na príjem obsahu s detekciou zmien
    • Služba vyhľadávania s citáciami a pravidlami na odmietnutie odpovede
    • Správa o kvalite vyhľadávania pre každý zdroj

  2. 02 Stratégia modelov bez závislosti od jedného dodávateľa

    Brána k modelom medzi vašimi aplikáciami a modelmi, aby ste mohli smerovať podľa úlohy, prepnúť pri výpadku poskytovateľa a meniť modely, keď sa menia ceny a schopnosti.

    Čo robíme

    • Možnosti od hostovaných špičkových modelov cez nasadenia hostované v EÚ po vlastné modely s otvorenými váhami
    • Smerovanie podľa úlohy, citlivosti a nákladov
    • Záložné modely, časové limity, cache a obmedzenie počtu požiadaviek
    • Podmienky spracúvania dát posúdené s vašimi právnymi a bezpečnostnými tímami

    Čo dostanete

    • Brána k modelom s pravidlami smerovania v konfigurácii
    • Záznam o rozhodnutí o modeli pre každý prípad použitia
    • Rozpočet nákladov a odozvy pre každý typ požiadavky

  3. 03 Hodnotenie ako inžinierska disciplína

    Kritériá kvality dohodnuté s ľuďmi, ktorí proces vlastnia, premenené na testovacie sady, ktoré bežia pri každej zmene. Kontroly, ktoré hodnotí model, najprv porovnáme s ľudským posúdením, až potom sa na ne spoliehame.

    Čo robíme

    • Referenčné sady pre každý prípad použitia, zostavené s odborníkmi z praxe
    • Samostatné offline hodnotenie vyhľadávania a generovania
    • Red teaming zameraný na prompt injection a únik dát
    • Online hodnotenie zo spätnej väzby z produkcie a výberových kontrol

    Čo dostanete

    • Sada hodnotení zapojená do CI ako brána pre vydanie
    • Kritériá kvality schválené vlastníkom procesu
    • Zistenia z red teamingu a opatrenia

  4. 04 LLMOps a pozorovateľ­nosť

    Sledovanie od otázky cez vyhľadané pasáže a volanie modelu až po odpoveď, s promptmi a modelmi verzovanými ako kód a s rozpočtami vynucovanými v produkcii.

    Čo robíme

    • Trasovanie a štruktúrované logovanie každej požiadavky
    • Verzovanie promptov, modelov a indexov
    • Sémantická a presná cache tam, kde je to bezpečné
    • Monitorovanie posunu a kvality s upozorneniami

    Čo dostanete

    • Prehľady kvality, nákladov a odozvy
    • Postup pre incidenty špecifické pre AI
    • Prevádzková príručka pre aktualizácie modelov a indexov

  5. 05 Riadenie zabudované do návrhu

    Navrhujeme s ohľadom na akt o umelej inteligencii: od klasifikácie rizika a vašej úlohy poskytovateľa alebo nasadzujúceho subjektu po logovanie, ľudský dohľad a dokumentáciu. Právne posúdenie zostáva u vašich právnikov.

    Čo robíme

    • Klasifikácia prípadov použitia a povinnosti podľa úlohy
    • Podklady pre posúdenie vplyvu na ochranu údajov podľa GDPR
    • Návrh logovania a ľudského dohľadu
    • Dokumentácia modelov a systému uložená spolu s kódom

    Čo dostanete

    • Balík systémovej dokumentácie
    • Návrh logovania a uchovávania záznamov
    • Postup dohľadu pre každý prípad použitia

  6. 06 Fine-tuning a porozumenie dokumentom, keď to hodnotenie ukáže

    Fine-tuning, destilácia a multimodálne porozumenie dokumentom sú nástroje na konkrétne medzery. Siahneme po nich, keď sada hodnotení ukáže, že vyhľadávanie a prompty nestačia, a nie skôr.

    Čo robíme

    • Analýza medzier z výsledkov hodnotenia
    • Plán prípravy a anotácie dát
    • Destilácia do menších modelov kvôli nákladom alebo odozve
    • Vyťaženie s ohľadom na rozloženie pre skenované a zložité dokumenty

    Čo dostanete

    • Porovnávacie hodnotenie pred zmenou a po nej
    • Pôvod trénovacích dát
    • Rozhodnutie ponechať, vrátiť späť alebo vyradiť

03 Architektúra

Ilustratívna referenčná architektúra

Väčšina podnikových systémov generatívnej AI, ktoré staviame, má rovnaký tvar: vyhľadávanie vo vašich zdrojoch, bránu k modelom, ochranné mechanizmy na oboch stranách modelu a pod tým slučku hodnotenia a pozorovateľnosti, ktorá rozhoduje, čo smie ísť do produkcie.

Filter oprávnení je súčasťou vyhľadávania, nie používateľského rozhrania. Ak človek nemôže otvoriť dokument v zdrojovom systéme, jeho pasáže sa v jeho mene k modelu nikdy nedostanú.

Vrstvy na nákrese

Zdroje
Úložiská dokumentov, wiki a podnikové systémy a k tomu poskytovateľ identity, ktorý vie, kto čo smie vidieť.
Vyhľadávanie
Príjem obsahu, hybridný index, preradenie výsledkov a filter oprávnení.
Modely
Brána, ktorá smeruje medzi hostovanými modelmi, modelmi hostovanými v EÚ a vlastnými modelmi, so záložnými modelmi a cache.
Aplikácia
Odpovede s citáciami, odmietnutie odpovede pri chýbajúcich podkladoch a kontroly vstupu a výstupu.
Prevádzka a zlepšovanie
Referenčné sady, regresné brány, trasovanie a rozpočty. Záznamy z produkcie napájajú ďalšiu testovaciu sadu.
Ilustračný príklad

  1. Zdroje

    • Úložiská dokumentov a wiki
    • Podnikové systémy
    • Poskytovateľ identity

  2. Vyhľadávanie

    • Príjem a delenie obsahu
    • Hybridný index
    • Filter oprávnení
    • Vyhľadávanie a preradenie

  3. Modely

    • Brána k modelom
    • Hostované modely, modely v EÚ a vlastné modely
    • Kontroly vstupu a výstupu

  4. Aplikácia

    • Aplikácia s citáciami

  5. Prevádzka a zlepšovanie

    • Referenčné sady a regresné brány
    • Trasovanie, náklady a rozpočty odozvy
Vyhľadávanie, brána k modelom a slučka hodnotenia

Ilustratívna architektúra, nie systém klienta.

Prečítať diagram ako text

Hlavná trasa vedie od úložísk dokumentov cez príjem obsahu, hybridný index, vyhľadávanie s preradením výsledkov a bránu k modelom až k aplikácii.

Do príjmu obsahu prispievajú aj podnikové systémy. Poskytovateľ identity napája filter oprávnení, ktorý obmedzuje vyhľadávanie. Ochranné mechanizmy kontrolujú vstup a výstup aplikácie. Brána smeruje na hostované špičkové modely, nasadenia hostované v EÚ a vlastné modely s otvorenými váhami.

Pod tým je sada hodnotení s referenčnými sadami a regresnými bránami a pozorovateľnosť so záznamami trasovania, nákladmi a rozpočtami odozvy. Záznamy z produkcie napájajú sadu hodnotení.

04 Zásady a hranice

Inžinierske zásady a hranice

  • Kvalitu meriame, nesľubujeme

    Ako to riešime

    Kritériá kvality dohodneme s vlastníkmi vašich procesov a výstup AI s nimi porovnávame pred každým vydaním aj po ňom.

    Vyhľadávanie a generovanie hodnotíme oddelene, takže zlyhanie ukáže na svoju príčinu.

    Hranice a závislosti

    Výstup AI môže byť nesprávny. Preto navrhujeme kontrolné kroky pre neisté prípady a odmietnutie odpovede, keď chýbajú podklady.

    Testovacia sada je len taká dobrá ako odborníci, ktorí ju pomáhajú zostaviť. Ich čas potrebujeme už na začiatku.

  • Oprávnenia putujú s obsahom

    Ako to riešime

    Prístupové práva zachytíme pri príjme obsahu a pri každom dopyte ich vynútime voči vášmu poskytovateľovi identity.

    Hranice a závislosti

    Ak zdrojové systémy uchovávajú práva tak, že sa nedajú spoľahlivo prečítať, takýto obsah necháme mimo rozsahu, kým to nebude možné.

    Obsah, ktorý je v zdroji sprístupnený príliš široko, zostane sprístupnený príliš široko. Vyhľadávanie len uľahčí jeho nájdenie, preto je prvým krokom niekedy upratovanie.

  • Náklady a odozva sú vstupy návrhu

    Ako to riešime

    Každý typ požiadavky má rozpočet. Smerovanie, cache a veľkosť kontextu ladíme podľa neho a prehľady ukazujú, kam idú peniaze.

    Hranice a závislosti

    Ceny a limity poskytovateľov sa menia mimo vašej kontroly. Brána vám umožní reagovať, zmenu ceny však nezruší.

  • Modely sa vám menia pod rukami

    Ako to riešime

    Modely fixujeme na konkrétnu verziu a každá aktualizácia prejde celou sadou hodnotení skôr, než sa dostane k používateľom.

    Hranice a závislosti

    Hostované modely sa niekedy vyraďujú v krátkej lehote. Pre každý prípad použitia plánujeme alternatívu a tento plán musí schváliť vlastník.

05 Ako pracujeme

Ako pracujeme

Na poradí záleží: najprv rozhodneme, ako budeme merať, a až potom, čo postavíme.

  1. 01

    Vymedziť prípad použitia

    Kto ho používa, ktoré rozhodnutia podporuje, ktorých zdrojov sa smie dotknúť a koľko stojí nesprávna odpoveď.

    VýstupZadanie prípadu použitia a klasifikácia rizika

  2. 02

    Zostaviť referenčnú sadu

    Skutočné otázky a očakávané odpovede, zozbierané s vašimi odborníkmi, vrátane tých, ktoré má systém odmietnuť.

    VýstupVerzovaná testovacia sada

  3. 03

    Najprv vyladiť vyhľadávanie

    Príjem obsahu, index a filter oprávnení, ladené dovtedy, kým kvalita vyhľadávania nedosiahne dohodnutú latku.

    VýstupSpráva o kvalite vyhľadávania

  4. 04

    Vydávať cez brány

    Generovanie, ochranné mechanizmy a brána idú do prevádzky, až keď sada hodnotení prejde v CI.

    VýstupVydanie s dôkazmi z hodnotenia

  5. 05

    Prevádzkovať a zlepšovať

    Trasovanie, výberové kontroly a spätná väzba používateľov napájajú ďalšiu testovaciu sadu a ďalšie vydanie.

    VýstupMesačné preskúmanie kvality, nákladov a odozvy

06 Kontrola človekom

Kde majú kontrolu ľudia

Generatívna AI pripravuje návrhy, vyhľadáva a odporúča. Ľudia rozhodujú, čo smie vidieť, čo sa považuje za dobrý výsledok a čo sa stane, keď si nie je istá.

  • Kvalitu schvaľujú vlastníci

    Kritériá kvality a dôkazy pre vydanie schvaľuje vlastník procesu pri každom prípade použitia, nie iba dodávateľský tím.

  • Neisté odpovede idú k človeku

    Pod dohodnutým prahom spoľahlivosti systém odpoveď odmietne alebo otázku postúpi určenému tímu.

  • O prístupe rozhoduje zdroj

    Kto smie vidieť dokument, sa rozhoduje v zdrojovom systéme a vo vašom poskytovateľovi identity, nikdy vo vrstve AI.

  • Spätná väzba mení systém

    Používatelia môžu odpovede označiť. Označenia preverujú ľudia a potvrdené zlyhania sa stanú testovacími prípadmi.

07 Technológie

Technológie, s ktorými pracujeme

Vyhľadávanie
  • OpenSearch a Elasticsearch
  • PostgreSQL s pgvector
  • Azure AI Search
  • Cross-encoder modely na preradenie
Modely
  • Hostované špičkové modely
  • Spravované služby modelov v regiónoch EÚ
  • Modely s otvorenými váhami na vLLM
  • Embedding modely pre jednotlivé jazyky
Hodnotenie a prevádzka
  • Trasovanie cez OpenTelemetry
  • Sady hodnotení v CI
  • Registre promptov a modelov
  • Langfuse alebo ekvivalent
Aplikácia
  • Služby v TypeScripte a Pythone
  • Streamovacie API
  • Existujúce portály a front-endy Salesforce, SAP a Odoo

Uvedenie technológie opisuje naše inžinierske skúsenosti. Neznamená partnerstvo s jej dodávateľom ani jeho odporúčanie.

08 Príklad

Ilustratívny príklad

Ilustračný príklad

Asistent pre predpisy samosprávneho kraja

01Situácia
Úrad samosprávneho kraja má desiatky všeobecne záväzných nariadení, interných smerníc a metodických pokynov. Referenti aj vedúci odborov hľadajú tie isté odpovede a dostávajú rôzne výklady podľa toho, koho sa spýtajú.
02Čo by sme postavili
Vyhľadávanie nad nariadeniami a internými dokumentmi kraja s prístupovými právami prevzatými zo spisovej služby a úložiska dokumentov a s odpoveďami, ktoré vždy citujú platné znenie predpisu.
03Kde rozhodujú ľudia
Vlastník každej oblasti predpisov schvaľuje testovaciu sadu a vydania, ktoré menia odpovede; pri otázke mimo rozsahu asistent odpoveď odmietne a odkáže na príslušný odbor.
04Čo by sme merali
Podiel odpovedí, ktoré citujú správny platný predpis, miera odmietnutí pri otázkach mimo rozsahu a náklady na jednu odpoveď.

09 Pohľad odvetvia

Vo vašom odvetví

  • Verejná správa

    Asistenti pre referentov a občanov, ktorí citujú právny predpis, pracujú v jazykoch, ktoré služba potrebuje, a zaznamenávajú, čo sa pre koho vyhľadalo.

  • Finančné služby

    Asistenti pre interné predpisy a postupy s prísnymi oprávneniami, úplnou dohľadateľnosťou a dokumentáciou modelového rizika, ktorú preverí vaša druhá línia obrany.

  • Zdravotníctvo a life sciences

    Vyhľadávanie v protokoloch a produktovej dokumentácii s jasnými hranicami: žiadne klinické rozhodnutia, citlivé údaje len v schválených prostrediach.

Slovensko

Viac jazykov, jeden štandard hodnotenia

Slovenské firmy v medzinárodných skupinách zriedka nasadzujú generatívnu AI len v jednej krajine. Interné smernice bývajú po slovensky, skupinové pravidlá po anglicky alebo po nemecky. Akt o umelej inteligencii dáva jeden rámec, no úrady na ochranu osobných údajov, zástupcovia zamestnancov a sektorové orgány dohľadu sa v jednotlivých členských štátoch líšia.

Na Slovensku zatiaľ nie je určený orgán dohľadu podľa aktu o umelej inteligencii (stav na jeseň 2026). Preto už v úvodnej fáze navrhujeme vyhľadávanie a hodnotenie pre každý jazyk, umiestnenie dát pre každý prípad použitia a logovanie a dokumentáciu, ktoré zodpovedia otázky každej krajiny bez samostatného systému. Projekty financované z programu Digitálna Európa často žiadajú práve takýto opakovane použiteľný a zdokumentovaný návrh.

Otázky k AI inžinierstvu

Ktorý model odporúčate?

Závisí to od úlohy, dotknutých dát a vašich požiadaviek na hosting. Modely zvyčajne kombinujeme: výkonný model na kroky náročné na uvažovanie, menšie alebo vlastné modely na klasifikáciu a vyťaženie údajov a nasadenia hostované v EÚ tam, kde dáta musia zostať v EÚ.

Brána udržiava túto voľbu vratnú, takže odpoveď sa môže meniť spolu s modelmi a cenami.

Aké presné to bude?

Presnosť neuvádzame skôr, než ju zmeriame na vašich dátach. Dohodneme s vami kritériá kvality, zostavíme testovaciu sadu a výsledky voči nej vykážeme pred spustením aj po každej zmene.

Modely robia chyby, preto návrh vždy rieši, čo sa stane, keď ich urobia: odmietnutie odpovede, kontrolné kroky a cestu k človeku.

Použijú sa naše dáta na trénovanie cudzieho modelu?

V architektúrach, ktoré navrhujeme, nie. Vyberáme služby modelov, ktorých podmienky vylučujú trénovanie na vašich vstupoch, alebo modely hostujeme sami vo vašom prostredí. Voľbu pre každý prípad použitia zdokumentujeme s vaším bezpečnostným tímom.

Vzťahuje sa akt o umelej inteligencii na náš prípad použitia?

Pomôžeme vám pochopiť, ktoré povinnosti sa môžu uplatniť podľa prípadu použitia a vašej úlohy poskytovateľa alebo nasadzujúceho subjektu, a podľa toho navrhneme logovanie, dohľad a dokumentáciu, aby mali vaši právnici fakty na záver. Na Slovensku zatiaľ nie je určený orgán dohľadu podľa aktu o umelej inteligencii (stav na jeseň 2026), takže dokumentácia vychádza z požiadaviek samotného nariadenia.

Ako pristupujete k bezpečnosti a citlivým údajom?

FromNine má certifikáciu ISO/IEC 27001. Hranice prístupu, umiestnenie dát a lehoty uchovávania dohodneme skôr, než začneme stavať, a red teaming zameraný na prompt injection a únik dát je súčasťou procesu vydávania, ktorý nastavíme.

Aký je rozumný prvý krok?

Jeden prípad použitia s jasným vlastníkom, obmedzeným okruhom zdrojov a testovacou sadou zostavenou s vašimi odborníkmi. Získate fungujúci systém a dôkazy o kvalite, nákladoch a odozve, teda presne to, čo potrebuje rozhodnutie o ďalšej investícii.

Prineste jeden prípad použitia a jeho najťažšie otázky

Ukážeme vám, ako by sme ho merali, skôr než začneme hovoriť o stavbe.

Konzultovať váš projektFiremné znalosti