Към основното съдържание
FromNine
Меню

AI и данни

Генеративен изкуствен интелект, който издържа в реална експлоатация.

Изграждаме приложения с генеративен изкуствен интелект върху Вашите знания и данни, с търсене, което спазва правата за достъп, оценка преди всяка нова версия и видими разходи, качество и време за отговор.

За организации, които ползват една AI платформа в няколко държави, на няколко езика и при различни национални правила.

Обсъдете проекта сиКорпоративни знания
AI инженеринг и GenAI: слоеве на услугатаЧетири слоя, наредени един зад друг. Отгоре надолу: търсене във Вашите източници, шлюз за модели, оценка и предпазни механизми и приложението, с което работят потребителите Ви. Един маршрут води от източниците до приложението.01Търсене във Вашите източници02Шлюз и избор на модел03Оценка и предпазни механизми04Приложение в експлоатация
  1. 01Отговори, които цитират източниците си и се въздържат, когато липсват доказателства
  2. 02Еталонен набор от въпроси и регресионни проверки, уговорени с екипите Ви преди пускането
  3. 03Избор на модел и бюджети, които показват разхода и времето за отговор на всяка заявка

01 Проблеми

Къде засяда генеративният изкуствен интелект

Моделът рядко е трудната част. Повечето програми засядат във всичко около него.

  1. 01

    Пилотът впечатли, но никой не можа да каже дали е добър

    Качеството оценяваха няколко души с няколко въпроса. Няма тестов набор, затова всяка промяна в инструкциите или нова версия на модела е хазарт.

  2. 02

    Асистентът показва документи, които хората не бива да виждат

    Съдържанието е индексирано без правата за достъп. Отделът по сигурност и представителите на служителите спират внедряването и са прави.

  3. 03

    Разходите растат по-бързо от използването

    Всяка заявка отива към най-големия модел с най-дългия контекст. Никой не знае колко струва един отговор, затова никой не може да управлява разхода.

  4. 04

    Отговорите звучат вярно, но не са

    Търсенето връща почти подходящи откъси, моделът плавно запълва празнините и потребителите губят доверие след третата уверена грешка.

02 Какво доставяме

Какво доставяме

  1. 01 Търсене и системи за корпоративни знания

    Търсене, проектирано за всеки източник: как съдържанието се разчита и разделя на откъси, как се съчетават търсенето по думи и векторното търсене и как правата за достъп следват всеки откъс. Това е основата на решението Корпоративни знания.

    Какво правим

    • Опис на източниците с отговорници, формати и модели на достъп
    • Стратегия за разделяне и метаданни за всеки вид документ
    • Хибридно търсене по думи и по вектори с пренареждане на резултатите
    • Търсене, което наследява правата за достъп от източниците

    Какво получавате

    • Потоци за зареждане на съдържание с откриване на промени
    • Услуга за търсене с цитати и правила за въздържане
    • Доклад за качеството на търсенето по източници

  2. 02 Стратегия за модели без обвързване с доставчик

    Шлюз за модели между приложенията Ви и моделите, така че да насочвате заявките според задачата, да превключвате при отказ на доставчик и да сменяте модели, когато цените и възможностите се променят.

    Какво правим

    • Избор между водещи модели като услуга, внедрявания с хостинг в ЕС и модели с отворени тегла на собствена инфраструктура
    • Насочване според задачата, чувствителността на данните и разхода
    • Резервни варианти, времеви лимити, кеширане и ограничения на честотата
    • Условията за обработване на данни, прегледани с юристите и отдела по сигурност

    Какво получавате

    • Шлюз за модели с правила за насочване като конфигурация
    • Запис на решението за модел за всяка задача
    • Бюджет за разход и време за отговор по вид заявка

  3. 03 Оценката като инженерна дисциплина

    Критерии за качество, уговорени с хората, които отговарят за процеса, превърнати в тестови набори, които се изпълняват при всяка промяна. Проверките, оценявани от модел, калибрираме спрямо преглед от човек, преди да разчитаме на тях.

    Какво правим

    • Еталонни набори за всяка задача, изградени с експерти от областта
    • Отделна офлайн оценка на търсенето и на генерирането
    • Тестове за атаки с prompt injection и изтичане на данни
    • Онлайн оценка въз основа на обратна връзка и извадков преглед

    Какво получавате

    • Набор от тестове в CI като условие за нова версия
    • Критерии за качество, одобрени от бизнес отговорника
    • Констатации от тестовете за атаки и мерки

  4. 04 LLMOps и наблюдаемост

    Проследяване от въпроса през намерените откъси и извикването на модела до отговора, с версии на инструкциите и моделите като код и бюджети, които се спазват в реална експлоатация.

    Какво правим

    • Проследяване и структурирани журнали за всяка заявка
    • Версии на инструкциите, моделите и индексите
    • Семантично и точно кеширане, където е безопасно
    • Наблюдение на отклоненията и качеството с известия

    Какво получавате

    • Табла за качество, разходи и време за отговор
    • Процедура при инциденти, специфични за AI
    • Ръководство за обновяване на модели и индекси

  5. 05 Управление, заложено в проекта

    Проектираме с оглед на Акта за изкуствения интелект: от класификацията на риска и ролята Ви на доставчик или внедрител до журналите, човешкия контрол и документацията. Правната оценка остава при Вашите юристи.

    Какво правим

    • Класифициране на задачите и задълженията според ролята
    • Принос към оценките на въздействието върху защитата на данните по Общия регламент относно защитата на данните (GDPR)
    • Проектиране на журналите и на човешкия контрол
    • Документация на модела и системата, съхранявана заедно с кода

    Какво получавате

    • Пакет със системна документация
    • Проект за журналите и срока на съхранението им
    • Процедура за надзор за всяка задача

  6. 06 Дообучение и разбиране на документи, когато оценката го покаже

    Дообучението, дестилацията и мултимодалното разбиране на документи са инструменти за конкретни пропуски. Използваме ги, когато тестовете покажат, че търсенето и инструкциите не стигат, и не по-рано.

    Какво правим

    • Анализ на пропуските въз основа на резултатите от оценката
    • План за подготовка и анотиране на данните
    • Дестилация към по-малки модели заради разхода или времето за отговор
    • Извличане със структурата на страницата за сканирани и сложни документи

    Какво получавате

    • Сравнителна оценка преди и след
    • Произход на данните за обучение
    • Решение дали моделът да се запази, да се върне предишният или да се извади от употреба

03 Архитектура

Примерна референтна архитектура

Повечето корпоративни системи с генеративен изкуствен интелект, които изграждаме, имат една форма: търсене във Вашите източници, шлюз за модели, предпазни механизми от двете страни на модела и цикъл за оценка и наблюдение отдолу, който решава какво може да влезе в експлоатация.

Филтърът по права е вътре в търсенето, а не в потребителския интерфейс. Ако човек не може да отвори документ в системата източник, откъсите от него никога не стигат до модела от негово име.

Слоеве в диаграмата

Източници
Хранилища за документи, уикита и бизнес системи, както и системата за управление на идентичността, която знае кой какво може да вижда.
Търсене
Зареждане, хибриден индекс, пренареждане и филтър по права.
Модели
Шлюз, който насочва между модели като услуга, модели с хостинг в ЕС и собствени модели, с резервни варианти и кеширане.
Приложение
Отговори с цитати, въздържане при липса на доказателства и предпазни механизми за входа и изхода.
Експлоатация и подобрение
Еталонни набори, регресионни проверки, следи и бюджети. Следите от експлоатацията захранват следващия тестов набор.
Илюстративен пример

  1. Източници

    • Хранилища за документи и уикита
    • Бизнес системи
    • Управление на идентичността

  2. Търсене

    • Зареждане и разделяне
    • Хибриден индекс
    • Филтър по права
    • Търсене и пренареждане

  3. Модели

    • Шлюз за модели
    • Модели като услуга, в ЕС и собствени
    • Предпазни механизми за вход и изход

  4. Приложение

    • Приложение с цитати

  5. Експлоатация и подобрение

    • Еталонни набори и регресионни проверки
    • Следи, бюджети за разход и време
Търсене, шлюз за модели и цикъл на оценка

Примерна архитектура, а не система на клиент.

Прочетете диаграмата като текст

Основният маршрут води от хранилищата за документи през зареждането, хибридния индекс, търсенето с пренареждане и шлюза за модели до приложението.

Бизнес системите също подават данни към зареждането. Системата за управление на идентичността подава данни към филтъра по права, който ограничава търсенето. Предпазните механизми проверяват входа и изхода на приложението. Шлюзът насочва към водещи модели като услуга, внедрявания с хостинг в ЕС и модели с отворени тегла на собствена инфраструктура.

Отдолу са наборът от тестове с еталонни набори и регресионни проверки и наблюдението с проследяване и бюджети за разход и време за отговор. Следите от реалната експлоатация захранват тестовете.

04 Съображения и ограничения

Инженерни съображения и ограничения

  • Качеството се измерва, а не се обещава

    Как го решаваме

    Уговаряме критериите за качество с отговорниците за процесите и проверяваме резултатите на изкуствения интелект спрямо тях преди и след всяка нова версия.

    Търсенето и генерирането се оценяват поотделно, така че всяка грешка сочи към причината си.

    Ограничения и зависимости

    Отговорите на изкуствения интелект могат да бъдат грешни. Затова проектираме стъпки за проверка при несигурни случаи и въздържане, когато липсват доказателства.

    Тестовият набор е толкова добър, колкото експертите, които помагат за изграждането му. Нужно ни е тяхното време още в началото.

  • Правата следват съдържанието

    Как го решаваме

    Правата за достъп се записват при зареждането и се прилагат при всяка заявка спрямо системата Ви за управление на идентичността.

    Ограничения и зависимости

    Когато системите източници пазят правата по начин, който не може да се прочете надеждно, оставяме това съдържание извън обхвата, докато това стане възможно.

    Съдържание с твърде широк достъп в източника остава с твърде широк достъп. Търсенето го прави по-лесно откриваемо, затова понякога първата стъпка е подреждане на правата.

  • Разходът и времето за отговор са входни данни за проекта

    Как го решаваме

    Всеки вид заявка получава бюджет. Насочването, кеширането и размерът на контекста се настройват спрямо него, а таблата показват къде отиват парите.

    Ограничения и зависимости

    Цените и лимитите на доставчиците се променят извън Вашия контрол. Шлюзът позволява бърза реакция, но не може да отмени промяна в цената.

  • Моделите се променят под краката Ви

    Как го решаваме

    Моделите се фиксират по версия и всяко обновяване минава през пълния набор от тестове, преди да стигне до потребителите.

    Ограничения и зависимости

    Моделите като услуга понякога се спират с кратко предизвестие. Планираме алтернатива за всяка задача и този план изисква одобрение от отговорника.

05 Как работим

Как работим

Редът е важен: първо решаваме как ще измерваме, а после какво ще изграждаме.

  1. 01

    Очертаваме задачата

    Кой я ползва, какви решения подпомага, до кои източници може да стига и колко струва грешният отговор.

    РезултатОписание на задачата и класификация на риска

  2. 02

    Изграждаме еталонния набор

    Реални въпроси и очаквани отговори, събрани с експертите Ви, включително въпросите, на които системата трябва да откаже да отговори.

    РезултатТестов набор с версии

  3. 03

    Първо изграждаме търсенето

    Зареждане, индекс и филтър по права, настроени, докато качеството на търсенето достигне уговореното ниво.

    РезултатДоклад за качеството на търсенето

  4. 04

    Пускаме нови версии само след проверки

    Генерирането, предпазните механизми и шлюзът влизат в експлоатация само когато тестовете в CI минат успешно.

    РезултатНова версия с доказателства от оценката

  5. 05

    Поддържаме и подобряваме

    Следите, извадковият преглед и обратната връзка от потребителите захранват следващия тестов набор и следващата версия.

    РезултатМесечен преглед на качеството, разхода и времето за отговор

06 Човешки контрол

Къде контролът остава у хората

Генеративният изкуствен интелект подготвя чернови, търси и предлага. Хората решават какво може да вижда, какво се смята за добро и какво става, когато не е сигурен.

  • Отговорниците одобряват качеството

    Бизнес отговорникът за всяка задача одобрява критериите за качество и доказателствата за всяка нова версия, а не само екипът за изпълнение.

  • Несигурните отговори отиват при човек

    Под уговорен праг на увереност системата се въздържа или пренасочва въпроса към определен екип.

  • Достъпът остава при източника

    Кой може да вижда даден документ се решава в системата източник и в системата Ви за управление на идентичността, никога в слоя с изкуствен интелект.

  • Обратната връзка променя системата

    Потребителите могат да отбелязват отговори. Отбелязаните отговори се преглеждат от хора, а потвърдените грешки стават тестови случаи.

07 Технологии

Технологии, с които работим

Търсене
  • OpenSearch и Elasticsearch
  • PostgreSQL с pgvector
  • Azure AI Search
  • Пренареждане с cross-encoder модели
Модели
  • Водещи модели като услуга
  • Управлявани услуги за модели в региони на ЕС
  • Модели с отворени тегла на vLLM
  • Модели за векторни представяния за всеки език
Оценка и експлоатация
  • Проследяване с OpenTelemetry
  • Набори от тестове в CI
  • Регистри на инструкциите и моделите
  • Langfuse или подобни инструменти
Приложение
  • Услуги на TypeScript и Python
  • API с поточно предаване
  • Съществуващи портали, интерфейси на Salesforce, SAP и Odoo

Посочването на технология описва инженерния ни опит. То не означава партньорство с нейния производител или одобрение от него.

08 Пример

Илюстративен пример

Илюстративен пример

Асистент за наредбите и вътрешните правила на общинска администрация

01Ситуация
Общинските наредби, вътрешните правила и указанията за административните услуги са разпръснати в различни папки и версии. Служителите задават едни и същи въпроси и получават различни отговори в различните отдели.
02Какво бихме изградили
Търсене в действащите наредби и вътрешни документи, с права за достъп, наследени от хранилището за документи, и отговори, които цитират приложимия текст и неговата версия.
03Къде решават хората
Отговорникът за всеки вид документи одобрява тестовия набор за своята област и одобрява новите версии, които променят отговорите в нея.
04Какво бихме измервали
Дял на отговорите, които цитират правилния действащ документ, дял на въздържанията при въпроси извън обхвата и разход за един отговор.

09 По сектори

Във Вашия сектор

  • Публичен сектор

    Асистенти за служители и граждани, които цитират правното основание, например закон или общинска наредба, и записват какво е извлечено и за кого.

  • Финансови услуги

    Асистенти за вътрешни правила и процедури със строги права за достъп, пълна проследимост и документация за риска на моделите, която втората линия на защита може да провери.

  • Здравеопазване и науки за живота

    Търсене в протоколи и продуктова документация с ясни граници: без клинични решения, а чувствителните данни остават в одобрени среди.

България

Много езици, един стандарт за оценка

Международните организации рядко внедряват генеративен изкуствен интелект само в една държава. Актът за изкуствения интелект създава обща рамка, но органите за защита на данните, представителите на служителите и секторните надзорни органи се различават по държави, както и езиците, на които са записани знанията Ви.

В България надзорен орган по GDPR е Комисията за защита на личните данни (КЗЛД). Орган за надзор по Акта за изкуствения интелект все още не е определен; законопроект, внесен през септември 2026 г., се обсъжда в Народното събрание (към ноември 2026 г.). Документите на кирилица изискват собствено разделяне, модели за векторни представяния и тестови въпроси.

Отчитаме това още в началния анализ: търсене и оценка за всеки език, местоположение на данните, определено за всяка задача, и журнали и документация, които отговарят на въпросите на всяка държава без отделна система за всяка от тях. Проектите, финансирани по програмата „Цифрова Европа“, често изискват точно такъв документиран проект за многократна употреба.

Въпроси за AI инженеринга

Кой модел препоръчвате?

Зависи от задачата, данните и изискванията Ви за хостинг. Обикновено съчетаваме модели: мощен модел за стъпките, които изискват разсъждение, по-малки или собствени модели за класификация и извличане и внедрявания с хостинг в ЕС, когато данните трябва да останат в ЕС.

Шлюзът прави този избор обратим, така че отговорът може да се промени заедно с моделите и цените.

Колко точна ще бъде системата?

Не обещаваме точност, преди да сме я измерили върху Вашите данни. Уговаряме с Вас критериите за качество, изграждаме тестов набор и отчитаме резултатите спрямо него преди пускането и след всяка промяна.

Моделите грешат, затова проектът винаги предвижда какво става тогава: въздържане, стъпки за проверка и път към човек.

Ще бъдат ли данните ни използвани за обучение на чужд модел?

Не и в архитектурите, които проектираме. Избираме услуги за модели, чиито условия изключват обучение върху Вашите входни данни, или хостваме модели във Вашата среда, и документираме избора за всяка задача заедно с отдела Ви по сигурност.

Прилага ли се Актът за изкуствения интелект за нашата задача?

Помагаме Ви да разберете кои задължения могат да се отнасят до Вас според задачата и ролята Ви на доставчик или внедрител и проектираме журналите, надзора и документацията съобразно тях, така че юристите Ви да имат фактите, за да стигнат до заключение.

Как се грижите за сигурността и чувствителните данни?

FromNine е сертифицирана по ISO/IEC 27001. Границите на достъпа, местоположението на данните и сроковете за съхранение се уговарят преди изграждането, а тестовете за prompt injection и изтичане на данни са част от процеса за нови версии, който въвеждаме.

Каква е разумната първа стъпка?

Една задача с ясен отговорник, ограничен набор от източници и тестов набор, изграден с Вашите експерти. Така получавате работеща система и данни за качеството, разхода и времето за отговор, а точно те са нужни за следващото решение за инвестиция.

Покажете ни една задача и най-трудните ѝ въпроси

Ще Ви покажем как бихме я измерили, преди да говорим за изграждане.

Обсъдете проекта сиКорпоративни знания