Към основното съдържание
FromNine
Меню

AI и данни

Данни, на които AI и решенията могат да разчитат.

Изграждаме платформи за данни, в които всеки набор от данни има отговорник, договор и измерено качество, така че анализите, оперативната работа и AI да ползват едни и същи надеждни числа.

За организации, които имат нужда от една надеждна картина на данните, разпръснати между държави, дружества и стари системи.

Обсъдете проекта сиКорпоративни знания
Данни и анализи: слоеве на услугатаЧетири слоя, наредени един зад друг. Отгоре надолу: анализите и AI, които използват данните, продуктите от данни с отговорници и договори, слоевете на lakehouse платформата, които почистват и уеднаквяват данните, и управлението на данните, което обхваща всичко.01Анализи и използване от AI02Продукти от данни и договори03Слоеве на lakehouse04Управление и произход на данните
  1. 01Продукти от данни с посочени отговорници, договори и проверки на качеството
  2. 02Управление на данните, което прилага ограничението на целите и сроковете за съхранение, а не е само каталог
  3. 03Едни и същи дефиниции на ключовите показатели, одобрени и от бизнеса, и от ИТ

01 Проблеми

Познати проблеми с данните

Повечето AI проекти, които разочароват, се оказват прикрити проекти за данни.

  1. 01

    Три отчета, три различни числа

    Финансите, оперативният отдел и ръководството изчисляват приходите или броя на преписките всеки по свой начин. Срещите започват със съгласуване на числата, а не с решения.

  2. 02

    Никой не отговаря за данните, затова никой не ги поправя

    Грешките се откриват по-надолу по веригата, поправят се в електронна таблица и се връщат следващия месец.

  3. 03

    AI екипът прекарва повечето си време в търсене на данни

    Всяка задача започва със седмици искания за достъп, извлечения и почистване, които следващият екип ще повтори.

  4. 04

    Архивите са неизползваеми за AI

    Сканирани документи с лошо разпознат текст, дубликати и без метаданни. Търсенето в тях връща шум.

02 Какво доставяме

Какво доставяме

  1. 01 Основи за данни за AI и анализи

    Lakehouse архитектури с моделиране на слоеве, от суровите данни през уеднаквените до слоя за използване, и продукти от данни, които показват какво съдържат, колко са актуални и кой отговаря за тях.

    Какво правим

    • Архитектура на платформата и избор на формат за съхранение
    • Правила за моделиране на слоевете
    • Проектиране на продукти от данни с договори
    • Пакетно зареждане и улавяне на промени в данните

    Какво получавате

    • Lakehouse платформа, описана като код
    • Първите продукти от данни в експлоатация
    • Шаблон за договор за данни и процес за преглед

  2. 02 Качество, произход и основни данни

    Автоматични проверки на качеството на всеки слой, произход на данните от източника до отчета и основни и референтни данни за важните обекти: граждани, клиенти, продукти и активи.

    Какво правим

    • Правила за качество с прагове и известия
    • Проследяване на произхода до ниво колона
    • Правила за съпоставяне и обединяване на основните данни
    • Управление на референтните данни

    Какво получавате

    • Табло за качеството на всеки продукт от данни
    • Произход на данните, по който може да се търси
    • Еталонни записи за приоритетните обекти

  3. 03 Управление на данните, което се прилага на практика

    Каталог, класификация и правила за достъп, които платформата прилага автоматично. Ограничението на целите и сроковете за съхранение по Общия регламент относно защитата на данните (GDPR) са заложени в нея, а споделянето на данни следва правилата на Акта за управление на данните, когато той се прилага.

    Какво правим

    • Схема за класификация и етикетиране
    • Правила за достъп въз основа на атрибути
    • Автоматизация на сроковете за съхранение и изтриването
    • Споразумения за споделяне на данни и технически контроли

    Какво получавате

    • Каталог, попълван автоматично от платформата
    • Правила за достъп като код
    • Действащ график за съхранение

  4. 04 Неструкту­рирано съдържание, подготвено за AI

    По-добро разпознаване на текста, обогатяване с метаданни, премахване на дубликати и подреждане на архивите, така че системите за Обработка на документи и за търсене да започват от съдържание, което си струва да се търси.

    Какво правим

    • Опис на съдържанието и извадкова проверка на качеството
    • Подобряване на разпознаването на текст и структура
    • Откриване на почти еднакви документи
    • Обогатяване с метаданни и класификация

    Какво получавате

    • Почистено и обогатено хранилище за съдържание
    • Доклад за качеството на съдържанието
    • Правила за съдържанието, добавяно занапред

  5. 05 Анализи и BI, които хората ползват

    Семантичен слой с дефиниции на ключовите показатели, уговорени между бизнеса и ИТ, самообслужване в ясни рамки и вградени анализи в SaaS продукти и портали.

    Какво правим

    • Работни срещи за дефиниране на ключовите показатели
    • Семантичен модел и слой с показатели
    • Рамки за самообслужване и сертифицирани набори от данни
    • Вградени анализи в продукти за клиенти

    Какво получавате

    • Речник на ключовите показатели с отговорници
    • Сертифициран семантичен модел
    • Табла, които заменят електронните таблици

  6. 06 Поточни данни за оперативна работа

    Улавяне на промени и потоци от събития там, където решенията не могат да чакат нощното зареждане: наличности, статус на преписки, сигнали за измама.

    Какво правим

    • Изисквания за допустимото закъснение за всяка задача
    • Улавяне на промени от оперативните бази данни
    • Поточна обработка и материализирани изгледи
    • Проектиране на повторно зареждане и попълване на историческите данни

    Какво получавате

    • Поточни конвейери в експлоатация
    • Оперативни изгледи с цели за актуалност
    • Процедура за повторно зареждане

03 Архитектура

Примерна референтна архитектура

Данните преминават от оперативните системи и документите през зареждането в lakehouse платформа със слоеве: сурови, както са получени, после уеднаквени и проверени за качество, после продукти от данни с отговорник и договор. Потребителите никога не четат суровите данни.

От продуктите от данни един маршрут захранва семантичния слой и BI; други захранват търсенето и характеристиките за AI, както и API за данни за други системи. Управлението на данните стои под всичко и се прилага от платформата, а не от документ с политики.

Илюстративен пример

  1. Източници и зареждане

    • Оперативни системи
    • Документи след разпознаване и обогатяване
    • Пакети и улавяне на промени

  2. Lakehouse платформа

    • Суров слой
    • Уеднаквен слой
    • Проверки на качеството и произход
    • Основни и референтни данни
    • Продукти от данни с договори

  3. Използване

    • Семантичен слой и BI
    • Търсене и характе­ристики за AI
    • API за данни и споделяне

  4. Управление

    • Управление на данните: каталог, класификация, правила за достъп, срокове за съхранение
Слоеве на lakehouse към продукти от данни с отговорници

Примерна архитектура, а не система на клиент.

Прочетете диаграмата като текст

Основният маршрут води от оперативните системи през пакетно зареждане и улавяне на промени, суров слой, уеднаквен слой и продукти от данни до семантичен слой с BI в ясни рамки.

Неструктурираните документи също влизат през зареждането след разпознаване на текста и обогатяване. Проверките на качеството и произходът на данните обхващат суровия и уеднаквения слой. Основните и референтните данни захранват продуктите от данни. Продуктите от данни обслужват и търсенето и характеристиките за AI, както и API за споделяне на данни.

Лента за управление на данните с каталог, класификация, правила за достъп и срокове за съхранение обхваща платформата.

04 Съображения и ограничения

Инженерни съображения и ограничения

  • Първо отговорници, после инструменти

    Как го решаваме

    Всеки продукт от данни получава бизнес отговорник, който решава какво означава той, и технически отговорник, който го поддържа. Помагаме да се определят двете роли и договорът между тези, които създават данните, и тези, които ги използват.

    Ограничения и зависимости

    Платформата не може да създаде отговорност. Ако организацията не посочи отговорници, проблемите с качеството ще се върнат, каквито и да са инструментите.

  • Ограничението на целите на практика

    Как го решаваме

    Личните данни се етикетират с целите, за които могат да се използват, а правилата за достъп и сроковете за съхранение следват автоматично тези етикети.

    Ограничения и зависимости

    Кои цели са законосъобразни решават Вашето длъжностно лице по защита на данните и юристите Ви. Ние прилагаме решението технически, но не го вземаме.

  • Данните за AI имат собствен праг за качество

    Как го решаваме

    При AI задачите измерваме това, от което се нуждаят търсенето и моделите: покритие, актуалност, дубликати и качество на извлечения текст.

    Ограничения и зависимости

    Някои архиви не си струва да бъдат поправяни. Оценка по извадка ще го покаже, а понякога правилният отговор е те да останат извън обхвата.

05 Как работим

Как работим

Изграждаме платформата около първите важни продукти от данни, а не обратното.

  1. 01

    Избираме решения, а не набори от данни

    Започваме от две или три решения или AI задачи и данните, от които се нуждаят, с посочени отговорници.

    РезултатСписък с продукти от данни и отговорници

  2. 02

    Изграждаме основата около тях

    Платформа, зареждане, проверки на качеството и управление на данните, колкото е нужно, за да обслужват добре тези продукти.

    РезултатПървите продукти от данни в експлоатация

  3. 03

    Растем продукт по продукт

    Всеки нов продукт използва същата основа; каталогът и речникът на показателите растат заедно с тях.

    РезултатПътна карта на продуктите и показатели за използването

06 Човешки контрол

Къде контролът остава у хората

Платформите за данни автоматизират преноса и проверките. Хората решават значението, достъпа и целта.

  • Отговорниците одобряват дефинициите

    Ключов показател или продукт от данни променя значението си само след одобрение от бизнес отговорника, а промяната получава нова версия.

  • Достъпът се дава от отговорниците за правилата

    Отговорниците за данните решават кой може да използва кои данни и за каква цел; платформата прилага това и записва всяко предоставяне на достъп.

  • Нарушеното качество спира потока

    Когато проверка по договора не мине, потребителите на данните се уведомяват, а отговорникът решава дали данните да се публикуват, задържат или поправят.

07 Технологии

Технологии, с които работим

Платформи
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Отворен lakehouse с Apache Iceberg или Delta Lake
Конвейери
  • dbt
  • Apache Spark
  • Kafka и Debezium
  • Вградена оркестрация на облачните платформи
Управление
  • Unity Catalog и Purview
  • Каталози с отворен код
  • Рамки за качество на данните
  • Контрол на достъпа въз основа на правила
Анализи
  • Power BI
  • Семантични слоеве и слоеве с показатели
  • Вградени анализи
  • Анализи в SAP (при съществуващи системи)

Посочването на технология описва инженерния ни опит. То не означава партньорство с нейния производител или одобрение от него.

08 Пример

Илюстративен пример

Илюстративен пример

Общи ключови показатели за семеен производител на храни с дъщерни дружества в няколко държави

01Ситуация
Всяко дружество отчита продажби, производство и запаси от своята система и по свои дефиниции, а историческите данни на българското дружество са в лева. Ръководството на групата сравнява числа, които не означават едно и също.
02Какво бихме изградили
Уеднаквени продукти от данни за всяко дружество, които захранват един семантичен слой с дефиниции на показателите, уговорени на ниво група, със запазени местни подробности и превалутиране по ясни правила.
03Къде решават хората
Финансовите контрольори на дружествата одобряват съпоставянето на своите данни; отговорникът за показателите на групата одобрява дефинициите и промените в тях.
04Какво бихме измервали
Време за изготвяне на месечния отчет, брой корекции при съгласуването и използване на сертифицираните табла.

09 По сектори

Във Вашия сектор

  • Здравеопазване и науки за живота

    Изследователски и оперативни данни под строг контрол, със стриктно ограничение на целите, псевдонимизация и запис на всеки достъп.

  • Производство и индустрия

    Основни данни за продукти и активи, данни за качество и производство, свързани за планиране, проследимост и AI.

  • Публичен сектор

    Данни от официалните регистри, данни, които гражданите предоставят само веднъж, и отчети, които администрацията и одиторите могат да проследят до първичния запис.

България

Данни, които преминават граници

Групи и публични институции, които работят в няколко държави членки, споделят данни по правила, които си приличат, но не са еднакви. GDPR създава обща рамка за личните данни, Актът за данните дава на потребителите права върху данните от свързани продукти и услуги, а националните тълкувания на сроковете за съхранение и целите все още се различават.

В България GDPR се допълва от Закона за защита на личните данни, изменен през 2019 г., а надзорен орган е Комисията за защита на личните данни (КЗЛД). От 1 януари 2026 г. България е в еврозоната: финансовите данни отпреди тази дата са в лева, а новите са в евро, и общите показатели трябва да ги съпоставят по фиксирания курс от 1,95583 лева за 1 евро.

Проектираме продукти от данни, чиито договори определят къде данните могат да се обработват, за какви цели и колко дълго, така че платформата да прилага правилното правило за всяка държава без отделни копия на данните.

Въпроси за данните и анализите

Нужен ли ни е data mesh?

Нужни са Ви полезните му части: продукти от данни с отговорници и договори. Пълната децентрализация се отплаща в големи организации със зрели екипи по области. Много организации постигат повече с централен платформен екип и отговорност на отделните области за продуктите.

Готови ли са данните ни за AI?

Кратка оценка по извадка на източниците, нужни за дадена задача, ще покаже това: покритие, качество, права за достъп и правно основание. Отговорът обикновено е „отчасти“, с ясен списък какво да се поправи първо. Екипите ни за AI инженеринг и GenAI използват същата оценка.

Вече имаме хранилище за данни. Започваме ли отначало?

Рядко. Хранилище за данни, което дава надеждни отчети, е ценен актив. Обикновено го разширяваме с възможности на lakehouse за неструктурирани данни и големи обеми и мигрираме само там, където разходите или ограниченията го оправдават.

Как организирате споделянето на данни с партньори или с други институции?

Чрез продукти от данни, достъпни през контролирани API, със споразумения, ограничение на целите и запис на достъпа. Когато се прилагат Актът за управление на данните или Актът за данните, проектираме техническите контроли съобразно тях.

Назовете решението, което не можете да вземете с днешните данни

Ще проследим какви данни са нужни за него до самите източници и ще покажем какво би изисквал първият продукт от данни.

Обсъдете проекта сиОбработка на документи