Przejdź do treści głównej
FromNine
Menu

AI i dane

Dane, na których mogą polegać AI i decyzje.

Budujemy platformy danych, w których każdy zbiór ma właściciela, kontrakt i znaną jakość, dzięki czemu analityka, operacje i AI korzystają z tych samych zaufanych liczb.

Dla organizacji, które potrzebują jednego zaufanego obrazu danych rozproszonych między spółkami, zakładami i starszymi systemami.

Porozmawiajmy o projekcieDostęp do wiedzy
Dane i analityka: warstwy kompetencjiCztery warstwy ułożone jedna za drugą. Od góry do dołu: analityka i AI, które korzystają z danych, produkty danych z właścicielami i kontraktami, warstwy lakehouse, które oczyszczają i ujednolicają dane, oraz nadzór nad danymi obejmujący całość.01Analityka i AI02Produkty danych i kontrakty03Warstwy lakehouse04Nadzór i pochodzenie danych
  1. 01Produkty danych ze wskazanymi właścicielami, kontraktami i kontrolą jakości
  2. 02Nadzór nad danymi, który zapisuje ograniczenie celu i retencję, a nie tylko katalog
  3. 03Jeden zestaw definicji wskaźników, który podpisują zarówno biznes, jak i IT

01 Problemy

Znane problemy z danymi

Większość rozczarowujących projektów AI okazuje się w rzeczywistości projektami danych.

  1. 01

    Trzy raporty, trzy różne liczby

    Finanse, operacje i zarząd liczą przychody lub liczbę spraw na swój sposób. Spotkania zaczynają się od uzgadniania liczb zamiast od decyzji.

  2. 02

    Nikt nie jest właścicielem danych, więc nikt ich nie poprawia

    Błędy wychodzą na jaw dopiero w raportach, są poprawiane w arkuszu kalkulacyjnym i wracają w następnym miesiącu.

  3. 03

    Zespół AI większość czasu spędza na szukaniu danych

    Każde zastosowanie zaczyna się od tygodni wniosków o dostęp, eksportów i czyszczenia, które następny zespół powtórzy.

  4. 04

    Archiwa nie nadają się dla AI

    Skany ze słabym OCR, duplikaty i brak metadanych. Wyszukiwanie w takich zbiorach zwraca szum.

02 Co dostarczamy

Co dostarczamy

  1. 01 Fundamenty danych dla AI i analityki

    Architektury lakehouse z warstwowym modelowaniem, od danych surowych przez ujednolicone po gotowe do użycia, oraz produkty danych, które informują, co zawierają, jak są aktualne i kto za nie odpowiada.

    Co robimy

    • Architektura platformy i wybór formatów przechowywania
    • Konwencje modelowania warstwowego
    • Projekt produktów danych z kontraktami
    • Zasilanie wsadowe i przechwytywanie zmian (CDC)

    Co Państwo otrzymują

    • Platforma lakehouse zdefiniowana w kodzie
    • Pierwsze produkty danych w produkcji
    • Wzór kontraktu danych i proces jego przeglądu

  2. 02 Jakość, pochodzenie danych i dane podstawowe

    Automatyczne kontrole jakości na każdej warstwie, pochodzenie danych od źródła do raportu oraz dane podstawowe i referencyjne dla kluczowych obiektów: obywateli, klientów, produktów i zasobów.

    Co robimy

    • Reguły jakości z progami i alertami
    • Rejestrowanie pochodzenia danych na poziomie kolumn
    • Reguły dopasowania i scalania danych podstawowych
    • Zarządzanie danymi referencyjnymi

    Co Państwo otrzymują

    • Pulpit jakości dla każdego produktu danych
    • Pochodzenie danych, które można odpytać
    • Rekordy wzorcowe dla priorytetowych obiektów

  3. 03 Nadzór nad danymi, który jest egzekwowany

    Katalog, klasyfikacja i polityki dostępu, które platforma stosuje automatycznie. Ograniczenie celu i retencja wynikające z RODO są zapisane w regułach, a udostępnianie danych odbywa się według aktu w sprawie zarządzania danymi tam, gdzie ma on zastosowanie.

    Co robimy

    • Schemat klasyfikacji i tagowanie
    • Polityki dostępu oparte na atrybutach
    • Automatyzacja retencji i usuwania danych
    • Umowy o udostępnianiu danych i kontrole techniczne

    Co Państwo otrzymują

    • Katalog zasilany z platformy
    • Polityki dostępu zapisane jako kod
    • Działający harmonogram retencji

  4. 04 Treści nieustrukturyzowane przygotowane dla AI

    Poprawa jakości OCR, wzbogacanie metadanych, usuwanie duplikatów i porządkowanie archiwów, aby przetwarzanie dokumentów i systemy wyszukiwania zaczynały od treści wartych wyszukiwania.

    Co robimy

    • Inwentaryzacja treści i ocena jakości na próbkach
    • Poprawa OCR i ekstrakcji układu stron
    • Wykrywanie niemal identycznych dokumentów
    • Wzbogacanie metadanych i klasyfikacja

    Co Państwo otrzymują

    • Oczyszczone i wzbogacone repozytorium treści
    • Raport jakości treści
    • Reguły dla treści dodawanych od teraz

  5. 05 Analityka i BI, z których ludzie korzystają

    Warstwa semantyczna z definicjami wskaźników uzgodnionymi przez biznes i IT, kontrolowana samoobsługa oraz analityka osadzona w produktach SaaS i portalach.

    Co robimy

    • Warsztaty definiowania wskaźników
    • Model semantyczny i warstwa metryk
    • Zasady samoobsługi i certyfikowane zbiory danych
    • Analityka osadzona w produktach dla klientów

    Co Państwo otrzymują

    • Słownik wskaźników z właścicielami
    • Certyfikowany model semantyczny
    • Pulpity, które zastępują arkusze kalkulacyjne

  6. 06 Strumienie danych do bieżącej pracy

    Przechwytywanie zmian i strumienie zdarzeń tam, gdzie decyzje nie mogą czekać na nocne ładowanie: stany magazynowe, status spraw, sygnały nadużyć.

    Co robimy

    • Wymagania dotyczące opóźnień dla każdego zastosowania
    • CDC z operacyjnych baz danych
    • Przetwarzanie strumieniowe i widoki zmaterializowane
    • Projekt odtwarzania i uzupełniania danych

    Co Państwo otrzymują

    • Potoki strumieniowe w produkcji
    • Widoki operacyjne z celami aktualności
    • Procedura odtwarzania

03 Architektura

Poglądowa architektura referencyjna

Dane przechodzą z systemów operacyjnych i dokumentów przez zasilanie do warstw lakehouse: surowej, w postaci otrzymanej, następnie ujednoliconej i sprawdzonej pod kątem jakości, a w końcu do produktów danych z właścicielem i kontraktem. Odbiorcy nigdy nie czytają danych surowych.

Z produktów danych jedna ścieżka zasila warstwę semantyczną i BI, kolejne zasilają wyszukiwanie i cechy dla AI oraz API danych dla innych systemów. Nadzór nad danymi obejmuje całość i stosuje go platforma, a nie dokument z polityką.

Przykład poglądowy

  1. Źródła i zasilanie

    • Systemy operacyjne
    • Dokumenty po OCR i wzbogaceniu
    • Wsad i przechwytywanie zmian

  2. Lakehouse

    • Warstwa surowa
    • Warstwa ujednolicona
    • Kontrole jakości i pochodzenie
    • Dane podstawowe i referencyjne
    • Produkty danych z kontraktami

  3. Wykorzystanie

    • Warstwa semantyczna i BI
    • Wyszukiwanie i cechy dla AI
    • API danych i udostępnianie

  4. Nadzór nad danymi

    • Nadzór: katalog, klasyfikacja, polityki dostępu, retencja
Od warstw lakehouse do produktów danych z właścicielem

Architektura poglądowa, nie system klienta.

Diagram w formie tekstu

Główna ścieżka prowadzi od systemów operacyjnych przez zasilanie wsadowe i przechwytywanie zmian, warstwę surową, warstwę ujednoliconą i produkty danych do warstwy semantycznej z kontrolowanym BI.

Dokumenty nieustrukturyzowane również trafiają do zasilania, po OCR i wzbogaceniu. Kontrole jakości i pochodzenie danych obejmują warstwę surową i ujednoliconą. Dane podstawowe i referencyjne zasilają produkty danych. Produkty danych obsługują także wyszukiwanie i cechy dla AI oraz API danych do udostępniania.

Pas nadzoru nad danymi z katalogiem, klasyfikacją, politykami dostępu i retencją obejmuje całą platformę.

04 Uwarunkowania i ograniczenia

Uwarunkowania inżynierskie i ograniczenia

  • Najpierw właściciele, potem narzędzia

    Jak do tego podchodzimy

    Każdy produkt danych ma właściciela biznesowego, który decyduje o jego znaczeniu, i właściciela technicznego, który utrzymuje go w działaniu. Pomagamy zdefiniować obie role i kontrakt między dostawcami a odbiorcami danych.

    Ograniczenia i zależności

    Platforma nie stworzy odpowiedzialności. Jeśli organizacja nie wskaże właścicieli, problemy z jakością wrócą, niezależnie od narzędzi.

  • Ograniczenie celu w praktyce

    Jak do tego podchodzimy

    Dane osobowe oznaczamy celami, którym mogą służyć, a polityki dostępu i retencja automatycznie podążają za tymi oznaczeniami.

    Ograniczenia i zależności

    O tym, które cele są zgodne z prawem, decydują inspektor ochrony danych i Państwa doradcy prawni. My to wdrażamy, ale o tym nie decydujemy.

  • Dane dla AI mają własny próg jakości

    Jak do tego podchodzimy

    W zastosowaniach AI mierzymy to, czego potrzebują wyszukiwanie i modele: kompletność, aktualność, duplikaty i jakość ekstrakcji tekstu.

    Ograniczenia i zależności

    Niektórych archiwów nie warto naprawiać. Pokaże to ocena na próbkach, a czasem właściwą decyzją jest pozostawienie ich poza zakresem.

05 Jak pracujemy

Jak pracujemy

Platformę budujemy wokół pierwszych ważnych produktów danych, a nie odwrotnie.

  1. 01

    Decyzje zamiast zbiorów danych

    Zaczynamy od dwóch lub trzech decyzji albo zastosowań AI i danych, których potrzebują, ze wskazanymi właścicielami.

    RezultatLista produktów danych z właścicielami

  2. 02

    Fundamenty wokół nich

    Platforma, zasilanie, kontrole jakości i nadzór nad danymi w zakresie, który wystarcza do dobrej obsługi tych produktów.

    RezultatPierwsze produkty danych w produkcji

  3. 03

    Rozwój produkt po produkcie

    Każdy nowy produkt korzysta z tego samego fundamentu, a katalog i słownik wskaźników rosną razem z nim.

    RezultatMapa drogowa produktów i mierniki wykorzystania

06 Kontrola człowieka

Gdzie kontrolę zachowuje człowiek

Platformy danych automatyzują przepływ i kontrole. O znaczeniu, dostępie i celu decydują ludzie.

  • Właściciele zatwierdzają definicje

    Wskaźnik lub produkt danych zmienia znaczenie tylko po zatwierdzeniu przez właściciela biznesowego, a zmiana jest wersjonowana.

  • Dostęp przyznają właściciele polityk

    Właściciele danych decydują, kto może używać jakich danych i w jakim celu. Platforma to egzekwuje i zapisuje każde przyznanie dostępu.

  • Naruszenie jakości zatrzymuje linię

    Gdy kontrola kontraktu nie przechodzi, odbiorcy dostają informację, a właściciel decyduje, czy opublikować dane, wstrzymać je, czy poprawić.

07 Technologie

Technologie, z którymi pracujemy

Platformy
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Otwarty lakehouse na Apache Iceberg lub Delta Lake
Potoki danych
  • dbt
  • Apache Spark
  • Kafka i Debezium
  • Orkiestracja natywna dla chmury
Nadzór nad danymi
  • Unity Catalog i Purview
  • Katalogi open source
  • Frameworki jakości danych
  • Kontrola dostępu oparta na politykach
Analityka
  • Power BI
  • Warstwy semantyczne i warstwy metryk
  • Analityka osadzona
  • Analityka SAP (istniejące środowiska)

Wymienienie technologii opisuje nasze doświadczenie inżynierskie. Nie oznacza partnerstwa z jej dostawcą ani jego rekomendacji.

08 Przykład

Przykład poglądowy

Przykład poglądowy

Jeden zestaw wskaźników dla producenta z zakładami w kilku krajach

01Sytuacja
Producent ma zakłady w Polsce i w dwóch innych państwach Unii Europejskiej. Każdy zakład raportuje wydajność, przestoje i zaległe zamówienia z własnego systemu, według własnych definicji, więc zarząd grupy porównuje liczby, które nie znaczą tego samego.
02Co byśmy zbudowali
Ujednolicone produkty danych dla każdego zakładu zasilają jedną warstwę semantyczną z definicjami wskaźników uzgodnionymi na poziomie grupy, z zachowaniem lokalnych szczegółów.
03Gdzie decyduje człowiek
Kontrolerzy w zakładach zatwierdzają mapowanie swoich danych, a właściciel wskaźników grupy zatwierdza definicje i ich zmiany.
04Co byśmy mierzyli
Czas przygotowania raportu miesięcznego, liczba korekt przy uzgadnianiu danych i wykorzystanie certyfikowanych pulpitów.

09 Perspektywa branżowa

W Państwa branży

  • Ochrona zdrowia i life sciences

    Kontrolowane dane badawcze i operacyjne ze ścisłym ograniczeniem celu, pseudonimizacją i rejestrowaniem dostępu.

  • Przemysł i produkcja

    Dane podstawowe produktów i zasobów oraz dane jakościowe i produkcyjne połączone na potrzeby planowania, identyfikowalności i AI.

  • Administracja publiczna

    Dane z rejestrów źródłowych, zasada jednorazowości i sprawozdawczość, którą decydenci i kontrolerzy mogą prześledzić aż do rekordu.

Polska

Dane w Polsce i w całej grupie

Grupy z zakładami i spółkami w Polsce i w innych państwach Unii Europejskiej dzielą dane według reguł podobnych, ale nie identycznych. RODO wyznacza wspólne ramy dla danych osobowych, a w Polsce uzupełnia je ustawa z dnia 10 maja 2018 r. o ochronie danych osobowych. Organem nadzorczym jest Prezes UODO. Akt w sprawie danych (Data Act) daje użytkownikom prawa do danych z produktów skomunikowanych i usług powiązanych, a interpretacje dotyczące retencji i celu przetwarzania nadal różnią się między krajami.

Projektujemy produkty danych, których kontrakty określają, gdzie dane mogą być przetwarzane, w jakich celach i jak długo. Dzięki temu platforma stosuje właściwą regułę dla każdego kraju bez osobnych kopii danych.

Pytania o dane i analitykę

Czy potrzebujemy data mesh?

Potrzebne są jego użyteczne elementy: produkty danych z właścicielami i kontraktami. Pełna decentralizacja opłaca się w dużych organizacjach z dojrzałymi zespołami domenowymi. Wiele organizacji lepiej wychodzi na centralnym zespole platformy i domenowej odpowiedzialności za produkty.

Czy nasze dane są gotowe na AI?

Odpowie na to krótka ocena na próbkach źródeł, których potrzebuje dane zastosowanie: kompletność, jakość, prawa dostępu i podstawa prawna. Odpowiedź zwykle brzmi „częściowo”, z jasną listą tego, co poprawić najpierw. Tę samą ocenę stosują nasze zespoły usługi Inżynieria AI i GenAI.

Mamy już hurtownię danych. Czy trzeba zaczynać od nowa?

Rzadko. Hurtownia danych, która zasila zaufane raporty, jest wartością. Zwykle rozszerzamy ją o możliwości lakehouse dla danych nieustrukturyzowanych i dużych wolumenów, a migrujemy tylko tam, gdzie uzasadniają to koszty lub ograniczenia.

Jak wygląda udostępnianie danych partnerom lub innym instytucjom?

Przez produkty danych udostępniane za pomocą kontrolowanych API, z umowami, ograniczeniem celu i rejestrowaniem dostępu. Tam, gdzie zastosowanie ma akt w sprawie zarządzania danymi lub akt w sprawie danych (Data Act), projektujemy odpowiednie kontrole techniczne.

Decyzja, której nie da się dziś podjąć na podstawie danych

Prześledzimy, czego wymaga, aż do źródeł, i pokażemy, czego potrzeba do pierwszego produktu danych.

Porozmawiajmy o projekciePrzetwarzanie dokumentów