Přejít na hlavní obsah
FromNine
Nabídka

AI a data

Generativní AI, která obstojí v provozu.

Stavíme aplikace generativní AI nad vašimi znalostmi a daty: s vyhledáváním, které respektuje oprávnění, s evaluací, která hlídá každé vydání, a s náklady, kvalitou i latencí, které máte stále na očích.

Pro firmy a veřejné instituce v Česku, které chtějí generativní AI nad vlastními dokumenty v češtině i v dalších jazycích.

Domluvit konzultaciPřístup ke znalostem
Vývoj AI a GenAI: vrstvy schopnostíČtyři vrstvy nad sebou. Shora dolů: vyhledávání ve vašich zdrojích, brána k modelům, evaluace a ochranná pravidla a aplikace, se kterou pracují uživatelé. Jedna trasa vede od zdrojů k aplikaci.01Vyhledávání ve vašich zdrojích02Brána k modelům a směrování03Evaluace a ochranná pravidla04Aplikace v provozu
  1. 01Odpovědi, které citují zdroje a odmítnou odpovědět, když chybí podklady
  2. 02Referenční sada otázek a regresní kontroly dohodnuté s vašimi týmy před spuštěním
  3. 03Směrování modelů a rozpočty, díky kterým vidíte náklady a latenci každého dotazu

01 Problémy

Kde generativní AI uvázne

Model bývá tou snazší částí. Většinu programů zabrzdí všechno kolem něj.

  1. 01

    Pilot zaujal, ale nikdo neuměl říct, jestli je dobrý

    Kvalitu posuzovalo pár lidí na několika otázkách. Testovací sada neexistuje, takže každá změna promptu nebo modelu je sázka do loterie.

  2. 02

    Asistent ukazuje dokumenty, které lidé vidět nemají

    Obsah se indexoval bez přístupových práv. Bezpečnostní tým a zástupci zaměstnanců zavedení zastaví, a mají pravdu.

  3. 03

    Náklady rostou rychleji než využití

    Každý dotaz jde na největší model s nejdelším kontextem. Nikdo neví, kolik stojí jedna odpověď, a nikdo to proto nemůže řídit.

  4. 04

    Odpovědi znějí správně, a přesto správné nejsou

    Vyhledávání vrací pasáže, které téměř sedí, model mezery plynule doplní a uživatelé po třetí sebejisté chybě ztratí důvěru.

02 Co dodáváme

Co dodáváme

  1. 01 Vyhledávání a podnikové znalostní systémy

    Vyhledávání navržené pro každý zdroj zvlášť: jak se obsah zpracuje a rozdělí na úseky, jak se kombinuje fulltextové a vektorové vyhledávání a jak s každou pasáží putují přístupová práva. Základ pro znalostní asistenty.

    Co děláme

    • Soupis zdrojů s vlastníky, formáty a modely přístupu
    • Strategie dělení na úseky a metadat pro každý typ dokumentu
    • Hybridní fulltextové a vektorové vyhledávání s přeřazením výsledků
    • Vyhledávání, které přebírá přístupová práva ze zdrojů

    Co dostanete

    • Pipeline pro načítání obsahu s detekcí změn
    • Vyhledávací služba s citacemi a pravidly pro odmítnutí odpovědi
    • Zpráva o kvalitě vyhledávání pro každý zdroj

  2. 02 Strategie modelů bez závislosti na dodavateli

    Brána k modelům stojí mezi vašimi aplikacemi a modely. Dotazy směrujete podle úlohy, při výpadku poskytovatele přepnete na zálohu a modely vyměníte, když se změní ceny nebo schopnosti.

    Co děláme

    • Možnosti od hostovaných špičkových modelů přes nasazení hostovaná v EU po vlastní provoz modelů s otevřenými vahami
    • Směrování podle úlohy, citlivosti a nákladů
    • Záložní modely, časové limity, cache a limity počtu dotazů
    • Podmínky zpracování dat prověřené s vaším právním a bezpečnostním týmem

    Co dostanete

    • Brána k modelům se směrovacími pravidly v konfiguraci
    • Záznam o volbě modelu pro každý případ užití
    • Rozpočet nákladů a latence pro každý typ dotazu

  3. 03 Evaluace jako inženýrská disciplína

    Kritéria kvality dohodnutá s lidmi, kteří proces vlastní, převedená do testovacích sad, které běží při každé změně. Hodnocení pomocí modelu nejprve porovnáme s hodnocením lidí a teprve potom se na ně spolehneme.

    Co děláme

    • Referenční datové sady pro každý případ užití, sestavené s odborníky z praxe
    • Oddělená offline evaluace vyhledávání a generování
    • Red teaming zaměřený na prompt injection a únik dat
    • Online evaluace ze zpětné vazby z provozu a z výběrových kontrol

    Co dostanete

    • Evaluační sada zapojená do CI jako podmínka vydání
    • Kritéria kvality schválená vlastníkem procesu
    • Zjištění z red teamingu a navržená opatření

  4. 04 LLMOps a pozorovatelnost

    Trasování od otázky přes nalezené pasáže a volání modelu až k odpovědi. Prompty a modely verzujeme jako kód a rozpočty vynucujeme v provozu.

    Co děláme

    • Trasování a strukturované logování každého dotazu
    • Verzování promptů, modelů a indexů
    • Sémantická a přesná cache tam, kde je to bezpečné
    • Sledování driftu a kvality s upozorněními

    Co dostanete

    • Dashboardy kvality, nákladů a latence
    • Postup pro incidenty specifické pro AI
    • Provozní příručka pro aktualizace modelů a indexů

  5. 05 Řízení zabudované do návrhu

    Navrhujeme s ohledem na akt o umělé inteligenci: od klasifikace rizik a vaší role poskytovatele nebo zavádějícího subjektu po logování, lidský dohled a dokumentaci. Právní posouzení zůstává u vašich právníků.

    Co děláme

    • Klasifikace případů užití a povinnosti podle role
    • Podklady pro posouzení vlivu na ochranu osobních údajů podle GDPR
    • Návrh logování a lidského dohledu
    • Dokumentace modelů a systému uložená spolu s kódem

    Co dostanete

    • Dokumentační balíček systému
    • Návrh logování a doby uchování
    • Postup lidského dohledu pro každý případ užití

  6. 06 Doladění modelů a porozumění dokumentům, když to evaluace ukáže

    Fine-tuning, destilace a multimodální porozumění dokumentům jsou nástroje pro konkrétní mezery. Použijeme je, když evaluační sada ukáže, že vyhledávání a prompty nestačí, a ne dřív.

    Co děláme

    • Analýza mezer z výsledků evaluace
    • Příprava dat a plán anotace
    • Destilace do menších modelů kvůli nákladům nebo latenci
    • Vytěžování s ohledem na rozvržení u skenovaných a složitých dokumentů

    Co dostanete

    • Srovnávací evaluace před změnou a po ní
    • Doložený původ trénovacích dat
    • Rozhodnutí model ponechat, vrátit zpět, nebo vyřadit

03 Architektura

Ilustrativní referenční architektura

Většina podnikových systémů generativní AI, které stavíme, má stejný tvar: vyhledávání ve vašich zdrojích, bránu k modelům, ochranná pravidla na vstupu i výstupu modelu a pod tím smyčku evaluace a pozorovatelnosti, která rozhoduje, co smí do provozu.

Filtr oprávnění je součástí vyhledávání, ne uživatelského rozhraní. Pokud člověk nemůže otevřít dokument ve zdrojovém systému, jeho pasáže se jeho jménem k modelu nikdy nedostanou.

Vrstvy v diagramu

Zdroje
Úložiště dokumentů, wiki a podnikové systémy a k tomu poskytovatel identit, který ví, kdo smí vidět co.
Vyhledávání
Načítání, hybridní index, přeřazení výsledků a filtr oprávnění.
Modely
Brána, která směruje mezi hostovanými modely, modely hostovanými v EU a vlastními modely, se záložními modely a cache.
Aplikace
Odpovědi s citacemi, odmítnutí odpovědi při chybějících podkladech a kontrola vstupu i výstupu.
Provoz a zlepšování
Referenční sady, regresní kontroly, trasování a rozpočty. Záznamy z provozu tvoří další testovací sadu.
Ilustrativní příklad

  1. Zdroje

    • Úložiště dokumentů a wiki
    • Podnikové systémy
    • Poskytovatel identit

  2. Vyhledávání

    • Načítání a dělení na úseky
    • Hybridní index
    • Filtr oprávnění
    • Vyhledávání a přeřazení

  3. Modely

    • Brána k modelům
    • Hostované modely, modely v EU a vlastní modely
    • Kontrola vstupu a výstupu

  4. Aplikace

    • Aplikace s citacemi

  5. Provoz a zlepšování

    • Referenční sady a regresní kontroly
    • Trasování, rozpočty nákladů a latence
Vyhledávání, brána k modelům a evaluační smyčka

Ilustrativní architektura, nikoli systém klienta.

Zobrazit diagram jako text

Hlavní trasa vede z úložišť dokumentů přes načítání, hybridní index, vyhledávání s přeřazením výsledků a bránu k modelům až do aplikace.

Do načítání vstupují také podnikové systémy. Poskytovatel identit napájí filtr oprávnění, který omezuje vyhledávání. Ochranná pravidla kontrolují vstup i výstup aplikace. Brána směruje na hostované špičkové modely, nasazení hostovaná v EU a vlastní modely s otevřenými vahami.

Pod tím leží evaluační sada s referenčními sadami a regresními kontrolami a pozorovatelnost s trasováním a rozpočty nákladů a latence. Záznamy z provozu se vracejí do evaluační sady.

04 Úvahy a limity

Technické úvahy a limity

  • Kvalitu měříme, neslibujeme

    Jak to řešíme

    Kritéria kvality dohodneme s vlastníky procesů a výstupy AI proti nim testujeme před každým vydáním i po něm.

    Vyhledávání a generování hodnotíme zvlášť, takže každá chyba ukáže na svou příčinu.

    Limity a závislosti

    Výstup AI může být chybný. Proto navrhujeme kontrolní kroky pro nejisté případy a odmítnutí odpovědi, když chybí podklady.

    Testovací sada je jen tak dobrá jako odborníci, kteří ji pomáhají sestavit. Jejich čas potřebujeme hned na začátku.

  • Oprávnění putují s obsahem

    Jak to řešíme

    Přístupová práva zachytíme při načítání a při každém dotazu je vynucujeme proti vašemu poskytovateli identit.

    Limity a závislosti

    Pokud zdrojové systémy vedou práva způsobem, který nelze spolehlivě přečíst, necháme takový obsah mimo rozsah, dokud to nepůjde.

    Obsah, který je ve zdroji sdílený příliš široce, zůstane sdílený příliš široce. Vyhledávání ho jen snáz zpřístupní, takže prvním krokem bývá úklid.

  • Náklady a latence jsou vstupy návrhu

    Jak to řešíme

    Každý typ dotazu má svůj rozpočet. Směrování, cache a velikost kontextu ladíme podle něj a dashboardy ukazují, kam jdou peníze.

    Limity a závislosti

    Ceny a limity poskytovatelů se mění mimo vaši kontrolu. Brána vám umožní reagovat, ale změnu ceny nezruší.

  • Modely se mění pod rukama

    Jak to řešíme

    Modely fixujeme na konkrétní verzi a každý upgrade projde celou evaluační sadou dřív, než se dostane k uživatelům.

    Limity a závislosti

    Hostované modely se někdy vyřazují s krátkým předstihem. Pro každý případ užití plánujeme alternativu a tento plán schvaluje vlastník.

05 Jak pracujeme

Jak pracujeme

Na pořadí záleží: nejdřív rozhodneme, jak budeme měřit, a teprve potom, co postavíme.

  1. 01

    Vymezit případ užití

    Kdo ho používá, která rozhodnutí podporuje, na které zdroje smí sáhnout a co stojí chybná odpověď.

    VýstupZadání případu užití a klasifikace rizik

  2. 02

    Sestavit referenční sadu

    Skutečné otázky a očekávané odpovědi, sesbírané s vašimi odborníky, včetně těch, které má systém odmítnout.

    VýstupVerzovaná testovací sada

  3. 03

    Nejdřív vyladit vyhledávání

    Načítání, index a filtr oprávnění ladíme, dokud kvalita vyhledávání nesplní dohodnutou laťku.

    VýstupZpráva o kvalitě vyhledávání

  4. 04

    Vydávat přes kontrolní body

    Generování, ochranná pravidla a brána jdou do provozu, až když evaluační sada v CI projde.

    VýstupVydání doložené výsledky evaluace

  5. 05

    Provozovat a zlepšovat

    Trasování, výběrové kontroly a zpětná vazba uživatelů napájejí další testovací sadu a další vydání.

    VýstupMěsíční přehled kvality, nákladů a latence

06 Kontrola člověkem

Kde rozhoduje člověk

Generativní AI připravuje návrhy, vyhledává a doporučuje. Lidé rozhodují, co smí vidět, co se považuje za dobrý výsledek a co se stane, když si systém není jistý.

  • Kvalitu schvalují vlastníci

    Kritéria kvality i podklady pro vydání schvaluje vlastník každého případu užití, ne jen dodavatelský tým.

  • Nejisté odpovědi jdou k člověku

    Pod dohodnutou hranicí jistoty systém odpověď odmítne nebo otázku předá určenému týmu.

  • O přístupu rozhoduje zdroj

    Kdo smí vidět dokument, určuje zdrojový systém a váš poskytovatel identit, nikdy vrstva AI.

  • Zpětná vazba mění systém

    Uživatelé mohou odpovědi označit. Označení posuzují lidé a potvrzené chyby se stávají testovacími případy.

07 Technologie

Technologie, se kterými pracujeme

Vyhledávání
  • OpenSearch a Elasticsearch
  • PostgreSQL s pgvector
  • Azure AI Search
  • Cross-encodery pro přeřazení výsledků
Modely
  • Hostované špičkové modely
  • Spravované modelové služby v regionech EU
  • Modely s otevřenými vahami na vLLM
  • Embeddingové modely pro jednotlivé jazyky
Evaluace a provoz
  • Trasování pomocí OpenTelemetry
  • Evaluační sady v CI
  • Registry promptů a modelů
  • Langfuse nebo obdobný nástroj
Aplikace
  • Služby v TypeScriptu a Pythonu
  • Streamovací API
  • Stávající portály a front-endy Salesforce, SAP a Odoo

Uvedení technologie popisuje naše inženýrské zkušenosti. Neznamená partnerství s jejím dodavatelem ani jeho doporučení.

08 Příklad

Ilustrativní příklad

Ilustrativní příklad

Asistent pro právní informace na krajském úřadě

01Situace
Referenti krajského úřadu dohledávají odpovědi v předpisech kraje, metodikách a interních pokynech. Stejný dotaz dostane od různých lidí různou odpověď a hledání zabere hodiny.
02Co bychom postavili
Vyhledávání nad předpisy kraje, metodikami a interními pokyny s přístupovými právy převzatými z úložiště dokumentů. Každá odpověď cituje konkrétní zdroj a jeho platné znění.
03Kde rozhoduje člověk
Vedoucí odborů schvalují testovací sadu pro svou agendu a vydání, která mění odpovědi. Rozhodnutí ve věci zůstává vždy na referentovi.
04Co bychom měřili
Podíl odpovědí, které citují správný předpis nebo metodiku, míra odmítnutí u otázek mimo rozsah a čas potřebný k dohledání odpovědi.

09 Podle odvětví

Ve vašem odvětví

  • Veřejná správa

    Asistenti pro referenty i občany, kteří citují právní zdroj a zaznamenávají, co bylo pro koho vyhledáno. Na krajském úřadě jde typicky o předpisy kraje, metodiky a interní pokyny.

  • Finanční služby

    Asistenti pro interní předpisy a postupy s přísnými oprávněními, úplnou dohledatelností a dokumentací modelového rizika, kterou může prověřit druhá linie obrany.

  • Zdravotnictví a life sciences

    Vyhledávání v protokolech a produktové dokumentaci s jasnými hranicemi: žádná klinická rozhodnutí, citlivá data jen ve schválených prostředích.

Česko

Čeština, další jazyky a jeden standard evaluace

České organizace mají znalosti zapsané v češtině, často také v němčině, angličtině nebo slovenštině. Akt o umělé inteligenci platí v celé EU. V Česku má být hlavním orgánem dozoru nad trhem podle připravovaného zákona Český telekomunikační úřad (stav na podzim 2026); dozor nad osobními údaji vykonává Úřad pro ochranu osobních údajů (ÚOOÚ).

S tím počítáme už při analýze: vyhledávání a evaluace pro každý jazyk zvlášť, umístění dat podle případu užití a logování a dokumentace, které odpovědí na otázky dozoru bez samostatného systému pro každou zemi. Projekty financované z programu Digitální Evropa často žádají právě takový znovupoužitelný a zdokumentovaný návrh.

Časté dotazy k vývoji AI

Jaký model doporučujete?

Záleží na úloze, na datech a na vašich požadavcích na hostování. Modely obvykle kombinujeme: výkonný model pro kroky náročné na uvažování, menší nebo vlastní modely pro klasifikaci a vytěžování a nasazení hostovaná v EU tam, kde data musí zůstat v EU.

Brána udržuje tuto volbu vratnou, takže se odpověď může měnit spolu s modely a cenami.

Jak přesné to bude?

Přesnost neuvádíme, dokud ji nezměříme na vašich datech. Dohodneme s vámi kritéria kvality, sestavíme testovací sadu a výsledky proti ní vykazujeme před spuštěním i po každé změně.

Modely dělají chyby, a návrh proto vždy počítá s tím, co se stane, když k chybě dojde: odmítnutí odpovědi, kontrolní kroky a předání člověku.

Budou naše data použita k trénování cizího modelu?

V architekturách, které navrhujeme, ne. Vybíráme modelové služby, jejichž podmínky trénování na vašich vstupech vylučují, nebo modely provozujeme přímo ve vašem prostředí. Volbu pro každý případ užití dokumentujeme s vaším bezpečnostním týmem.

Vztahuje se akt o umělé inteligenci na náš případ užití?

Pomůžeme vám pochopit, které povinnosti se mohou uplatnit podle případu užití a vaší role poskytovatele nebo zavádějícího subjektu, a podle toho navrhneme logování, dohled a dokumentaci. Vaši právníci tak mají fakta pro svůj závěr. Hlavním orgánem dozoru nad trhem má být podle připravovaného zákona Český telekomunikační úřad (stav na podzim 2026).

Jak řešíte bezpečnost a citlivá data?

Společnost FromNine je certifikována podle ISO/IEC 27001. Hranice přístupu, umístění dat a dobu uchování dohodneme před začátkem vývoje. Red teaming zaměřený na prompt injection a únik dat je součástí procesu vydávání, který nastavíme.

Jaký je rozumný první krok?

Jeden případ užití s jasným vlastníkem, omezenou sadou zdrojů a testovací sadou sestavenou s vašimi odborníky. Získáte fungující systém a podklady o kvalitě, nákladech a latenci, tedy přesně to, co potřebuje další investiční rozhodnutí.

Přineste jeden případ užití a jeho nejtěžší otázky

Ukážeme vám, jak bychom ho měřili, ještě než začneme mluvit o vývoji.

Domluvit konzultaciPřístup ke znalostem