Bỏ qua đến nội dung chính
FromNine
Danh mục

AI và dữ liệu

Dữ liệu mà AI và các quyết định có thể dựa vào.

Chúng tôi xây dựng nền tảng dữ liệu trong đó mỗi tập dữ liệu có người phụ trách, có hợp đồng dữ liệu và chất lượng được biết rõ, để phân tích, vận hành và AI cùng dùng một bộ số liệu đáng tin cậy.

Dành cho tổ chức cần một bức tranh dữ liệu đáng tin cậy, trong khi dữ liệu nằm rải rác ở nhiều quốc gia, nhiều pháp nhân và nhiều hệ thống cũ.

Dữ liệu và phân tích: các lớp năng lựcBốn lớp xếp chồng theo chiều sâu. Từ trên xuống: phân tích và AI sử dụng dữ liệu, sản phẩm dữ liệu có người phụ trách và hợp đồng, các lớp lakehouse làm sạch và chuẩn hóa dữ liệu, và lớp quản trị bao trùm tất cả.01Phân tích và AI sử dụng02Sản phẩm và hợp đồng dữ liệu03Các lớp lakehouse04Quản trị và nguồn gốc dữ liệu
  1. 01Sản phẩm dữ liệu có người phụ trách được chỉ định, hợp đồng dữ liệu và kiểm tra chất lượng
  2. 02Quản trị thể hiện giới hạn mục đích xử lý và thời hạn lưu trữ, không chỉ là một danh mục
  3. 03Một bộ định nghĩa KPI duy nhất mà cả nghiệp vụ và IT cùng phê duyệt

01 Vấn đề

Những vấn đề dữ liệu quen thuộc

Phần lớn dự án AI gây thất vọng hóa ra là dự án dữ liệu đội lốt.

  1. 01

    Ba báo cáo, ba con số khác nhau

    Tài chính, vận hành và ban điều hành mỗi bên tính doanh thu hay khối lượng hồ sơ theo cách riêng. Cuộc họp bắt đầu bằng việc đối chiếu số liệu thay vì ra quyết định.

  2. 02

    Dữ liệu không có người phụ trách nên không ai sửa

    Lỗi được phát hiện ở khâu sau, được sửa trong một bảng tính và quay lại vào tháng sau.

  3. 03

    Nhóm AI dành phần lớn thời gian để tìm dữ liệu

    Mỗi tình huống sử dụng bắt đầu bằng nhiều tuần xin quyền truy cập, trích xuất và làm sạch, và nhóm tiếp theo sẽ lặp lại đúng những việc đó.

  4. 04

    Kho lưu trữ không dùng được cho AI

    Tài liệu quét với OCR kém, bản trùng lặp và không có siêu dữ liệu. Truy xuất trên đó chỉ trả về nhiễu.

02 Hạng mục triển khai

Những gì chúng tôi triển khai

  1. 01 Nền tảng dữ liệu cho AI và phân tích

    Kiến trúc lakehouse với mô hình hóa theo lớp, từ dữ liệu thô đến dữ liệu chuẩn hóa và dữ liệu sẵn sàng sử dụng, cùng các sản phẩm dữ liệu công bố rõ nội dung, mức độ cập nhật và người chịu trách nhiệm.

    Công việc chúng tôi thực hiện

    • Kiến trúc nền tảng và lựa chọn định dạng lưu trữ
    • Quy ước mô hình hóa theo lớp
    • Thiết kế sản phẩm dữ liệu kèm hợp đồng dữ liệu
    • Nạp dữ liệu theo lô và ghi nhận thay đổi dữ liệu (CDC)

    Kết quả bàn giao

    • Nền tảng lakehouse được định nghĩa bằng mã
    • Các sản phẩm dữ liệu đầu tiên vận hành thực tế
    • Mẫu hợp đồng dữ liệu và quy trình rà soát
  2. 02 Chất lượng, nguồn gốc và dữ liệu chủ

    Kiểm tra chất lượng tự động ở mọi lớp, nguồn gốc dữ liệu từ hệ thống nguồn đến báo cáo, cùng dữ liệu chủ và dữ liệu tham chiếu cho các đối tượng quan trọng: người dân, khách hàng, sản phẩm và tài sản.

    Công việc chúng tôi thực hiện

    • Quy tắc chất lượng có ngưỡng và cảnh báo
    • Ghi nhận nguồn gốc dữ liệu đến từng cột
    • Quy tắc đối sánh và hợp nhất dữ liệu chủ
    • Quản lý dữ liệu tham chiếu

    Kết quả bàn giao

    • Bảng theo dõi chất lượng cho từng sản phẩm dữ liệu
    • Nguồn gốc dữ liệu có thể truy vấn
    • Bản ghi chuẩn cho các đối tượng ưu tiên
  3. 03 Quản trị được thực thi

    Danh mục dữ liệu, phân loại và chính sách truy cập do nền tảng tự động áp dụng. Giới hạn mục đích xử lý và thời hạn lưu trữ theo GDPR và Luật Bảo vệ dữ liệu cá nhân được thể hiện trong cấu hình, và việc chia sẻ dữ liệu tuân theo Đạo luật Quản trị dữ liệu của EU (Data Governance Act) khi đạo luật này áp dụng.

    Công việc chúng tôi thực hiện

    • Sơ đồ phân loại và gắn nhãn
    • Chính sách truy cập theo thuộc tính
    • Tự động hóa lưu trữ và xóa dữ liệu
    • Thỏa thuận chia sẻ dữ liệu và biện pháp kiểm soát kỹ thuật

    Kết quả bàn giao

    • Danh mục dữ liệu được cập nhật từ nền tảng
    • Chính sách truy cập dưới dạng mã
    • Lịch lưu trữ đang được áp dụng
  4. 04 Nội dung phi cấu trúc sẵn sàng cho AI

    Cải thiện chất lượng OCR, bổ sung siêu dữ liệu, loại bỏ trùng lặp và dọn dẹp kho lưu trữ, để các hệ thống Xử lý tài liệu thông minh và truy xuất bắt đầu từ nội dung đáng để truy xuất.

    Công việc chúng tôi thực hiện

    • Kiểm kê nội dung và lấy mẫu đánh giá chất lượng
    • Cải thiện OCR và trích xuất theo bố cục
    • Phát hiện nội dung gần trùng lặp
    • Bổ sung siêu dữ liệu và phân loại

    Kết quả bàn giao

    • Kho nội dung đã làm sạch và bổ sung thông tin
    • Báo cáo chất lượng nội dung
    • Quy tắc cho nội dung được thêm từ nay về sau
  5. 05 Phân tích và BI được người dùng thực sự sử dụng

    Một lớp ngữ nghĩa với định nghĩa KPI do nghiệp vụ và IT cùng thống nhất, tự phục vụ có quản trị và phân tích nhúng trong các sản phẩm SaaS và cổng thông tin.

    Công việc chúng tôi thực hiện

    • Hội thảo định nghĩa KPI
    • Mô hình ngữ nghĩa và lớp chỉ số
    • Giới hạn cho tự phục vụ và tập dữ liệu được chứng nhận
    • Phân tích nhúng cho sản phẩm dành cho khách hàng

    Kết quả bàn giao

    • Bảng thuật ngữ KPI có người phụ trách
    • Mô hình ngữ nghĩa được chứng nhận
    • Bảng theo dõi thay thế bảng tính
  6. 06 Dữ liệu luồng cho vận hành

    Ghi nhận thay đổi dữ liệu và luồng sự kiện ở nơi quyết định không thể chờ lần nạp dữ liệu ban đêm: mức tồn kho, trạng thái hồ sơ, dấu hiệu gian lận.

    Công việc chúng tôi thực hiện

    • Yêu cầu về độ trễ cho từng tình huống sử dụng
    • CDC từ cơ sở dữ liệu vận hành
    • Xử lý luồng và khung nhìn vật lý hóa
    • Thiết kế chạy lại và nạp bù dữ liệu

    Kết quả bàn giao

    • Luồng dữ liệu liên tục vận hành thực tế
    • Khung nhìn vận hành với mục tiêu về độ mới của dữ liệu
    • Quy trình chạy lại

03 Kiến trúc

Một kiến trúc tham chiếu minh họa

Dữ liệu đi từ hệ thống vận hành và tài liệu qua khâu nạp vào một lakehouse nhiều lớp: lớp thô giữ nguyên như khi nhận, lớp chuẩn hóa đã kiểm tra chất lượng, rồi đến sản phẩm dữ liệu có người phụ trách và hợp đồng dữ liệu. Bên sử dụng không bao giờ đọc dữ liệu thô.

Từ các sản phẩm dữ liệu, một luồng cung cấp cho lớp ngữ nghĩa và BI; các luồng khác cung cấp cho truy xuất và đặc trưng của AI, và cho API dữ liệu phục vụ hệ thống khác. Quản trị nằm bên dưới tất cả và do nền tảng áp dụng, không phải do một văn bản chính sách.

Ví dụ minh họa
  1. Nguồn và nạp dữ liệu

    • Hệ thống vận hành
    • Tài liệu sau OCR và bổ sung thông tin
    • Nạp theo lô và CDC
  2. Nền tảng lakehouse

    • Lớp thô
    • Lớp chuẩn hóa
    • Kiểm tra chất lượng và nguồn gốc
    • Dữ liệu gốc và tham chiếu
    • Sản phẩm dữ liệu có hợp đồng
  3. Sử dụng

    • Lớp ngữ nghĩa và BI
    • Truy xuất và đặc trưng cho AI
    • API dữ liệu và chia sẻ
  4. Quản trị

    • Quản trị: danh mục, phân loại, chính sách truy cập, thời hạn lưu trữ
Từ các lớp lakehouse đến sản phẩm dữ liệu có người phụ trách

Kiến trúc minh họa, không phải hệ thống của khách hàng.

Đọc sơ đồ dưới dạng văn bản

Luồng chính đi từ hệ thống vận hành qua khâu nạp dữ liệu theo lô và ghi nhận thay đổi dữ liệu, lớp thô, lớp chuẩn hóa và sản phẩm dữ liệu, đến lớp ngữ nghĩa với BI có quản trị.

Tài liệu phi cấu trúc cũng đi vào khâu nạp sau bước OCR và bổ sung thông tin. Kiểm tra chất lượng và nguồn gốc dữ liệu bao phủ lớp thô và lớp chuẩn hóa. Dữ liệu gốc và dữ liệu tham chiếu cung cấp cho sản phẩm dữ liệu. Sản phẩm dữ liệu cũng phục vụ truy xuất và đặc trưng của AI, cùng API dữ liệu để chia sẻ.

Một dải quản trị gồm danh mục, phân loại, chính sách truy cập và thời hạn lưu trữ trải trên toàn nền tảng.

04 Lưu ý và giới hạn

Lưu ý kỹ thuật và giới hạn

  • Người phụ trách trước, công cụ sau

    Cách chúng tôi xử lý

    Mỗi sản phẩm dữ liệu có một người phụ trách nghiệp vụ quyết định ý nghĩa của nó và một người phụ trách kỹ thuật giữ cho nó vận hành. Chúng tôi giúp xác định cả hai vai trò và hợp đồng giữa bên tạo và bên sử dụng dữ liệu.

    Giới hạn và điều kiện phụ thuộc

    Nền tảng không tự tạo ra người phụ trách. Nếu tổ chức không chỉ định người phụ trách, vấn đề chất lượng sẽ quay lại, dù công cụ là gì.

  • Giới hạn mục đích trong thực tế

    Cách chúng tôi xử lý

    Dữ liệu cá nhân được gắn nhãn theo các mục đích được phép sử dụng, và chính sách truy cập cùng thời hạn lưu trữ tự động tuân theo các nhãn đó.

    Giới hạn và điều kiện phụ thuộc

    Mục đích nào hợp pháp là quyết định của người phụ trách bảo vệ dữ liệu cá nhân và luật sư của tổ chức. Chúng tôi thực hiện quyết định đó; chúng tôi không đưa ra quyết định đó.

  • Dữ liệu cho AI có chuẩn chất lượng riêng

    Cách chúng tôi xử lý

    Với các tình huống sử dụng AI, chúng tôi đo những gì truy xuất và mô hình cần: độ bao phủ, độ mới, mức trùng lặp và chất lượng trích xuất văn bản.

    Giới hạn và điều kiện phụ thuộc

    Có những kho lưu trữ không đáng để sửa. Một đánh giá dựa trên mẫu sẽ cho biết điều đó, và đôi khi câu trả lời đúng là để chúng ngoài phạm vi.

05 Cách chúng tôi làm việc

Cách chúng tôi làm việc

Chúng tôi xây nền tảng xoay quanh những sản phẩm dữ liệu đầu tiên thực sự quan trọng, không làm theo chiều ngược lại.

  1. 01

    Chọn quyết định, không chọn tập dữ liệu

    Bắt đầu từ hai hoặc ba quyết định hoặc tình huống sử dụng AI và dữ liệu chúng cần, với người phụ trách được chỉ định.

    Kết quảDanh sách sản phẩm dữ liệu kèm người phụ trách

  2. 02

    Xây nền tảng quanh các quyết định đó

    Nền tảng, nạp dữ liệu, kiểm tra chất lượng và quản trị, vừa đủ để phục vụ tốt các sản phẩm đó.

    Kết quảCác sản phẩm dữ liệu đầu tiên vận hành thực tế

  3. 03

    Mở rộng theo từng sản phẩm

    Mỗi sản phẩm mới dùng lại nền tảng; danh mục dữ liệu và bảng thuật ngữ KPI lớn dần theo.

    Kết quảLộ trình sản phẩm và chỉ số sử dụng

06 Con người kiểm soát

Nơi con người giữ quyền kiểm soát

Nền tảng dữ liệu tự động hóa việc di chuyển và kiểm tra dữ liệu. Con người quyết định ý nghĩa, quyền truy cập và mục đích.

  • Người phụ trách phê duyệt định nghĩa

    Một KPI hay sản phẩm dữ liệu chỉ thay đổi ý nghĩa khi người phụ trách nghiệp vụ phê duyệt, và thay đổi đó được quản lý phiên bản.

  • Quyền truy cập do người phụ trách chính sách cấp

    Người phụ trách dữ liệu quyết định ai được dùng dữ liệu nào cho mục đích nào; nền tảng thực thi và ghi lại mọi lần cấp quyền.

  • Vi phạm chất lượng thì dừng dây chuyền

    Khi một kiểm tra theo hợp đồng dữ liệu không đạt, bên sử dụng được thông báo và người phụ trách quyết định công bố, tạm giữ hay sửa.

07 Công nghệ

Các công nghệ chúng tôi sử dụng

Nền tảng
  • Databricks
  • Microsoft Fabric
  • Snowflake
  • Lakehouse mở trên Apache Iceberg hoặc Delta Lake
Luồng dữ liệu
  • dbt
  • Apache Spark
  • Kafka và Debezium
  • Điều phối gốc đám mây
Quản trị
  • Unity Catalog và Purview
  • Danh mục dữ liệu mã nguồn mở
  • Khung kiểm tra chất lượng dữ liệu
  • Kiểm soát truy cập dựa trên chính sách
Phân tích
  • Power BI
  • Lớp ngữ nghĩa và lớp chỉ số
  • Phân tích nhúng
  • SAP Analytics (hệ thống hiện có)

Việc liệt kê một công nghệ mô tả kinh nghiệm kỹ thuật của chúng tôi. Điều đó không có nghĩa là chúng tôi có quan hệ đối tác với nhà cung cấp hoặc được nhà cung cấp chứng nhận.

08 Ví dụ

Một ví dụ minh họa

Ví dụ minh họa

Một bộ KPI vận hành cho nhà sản xuất có công ty ở Việt Nam và châu Âu

01Bối cảnh
Ví dụ: một nhà sản xuất do gia đình sở hữu có nhà máy tại Việt Nam và công ty phân phối ở hai nước châu Âu. Mỗi công ty báo cáo sản lượng và đơn hàng tồn từ hệ thống riêng với định nghĩa riêng. Ban điều hành so sánh những con số không cùng ý nghĩa.
02Hệ thống chúng tôi sẽ xây dựng
Các sản phẩm dữ liệu chuẩn hóa cho từng công ty, cùng cung cấp cho một lớp ngữ nghĩa với định nghĩa KPI thống nhất ở cấp tập đoàn, vẫn giữ chi tiết của từng nơi.
03Nơi con người quyết định
Kế toán trưởng của từng công ty phê duyệt cách ánh xạ dữ liệu của mình; người phụ trách KPI của tập đoàn phê duyệt định nghĩa và mọi thay đổi.
04Những gì chúng tôi sẽ đo lường
Thời gian lập báo cáo tháng, số lần điều chỉnh khi đối chiếu và mức sử dụng các bảng theo dõi được chứng nhận.

09 Theo ngành

Theo ngành của quý vị

  • Dữ liệu nghiên cứu và vận hành có quản trị, với giới hạn mục đích chặt chẽ, giả danh hóa và ghi nhật ký truy cập.

  • Dữ liệu gốc về sản phẩm và tài sản, dữ liệu chất lượng và sản xuất được kết nối cho lập kế hoạch, truy xuất nguồn gốc và AI.

  • Nguồn dữ liệu gốc, nguyên tắc cung cấp dữ liệu chỉ một lần và báo cáo mà người hoạch định chính sách và kiểm toán có thể truy ngược về bản ghi.

Việt Nam

Dữ liệu đi qua biên giới

Một tập đoàn có công ty tại Việt Nam và tại châu Âu chia sẻ dữ liệu theo những quy định trông giống nhau nhưng không giống hệt. Tại Việt Nam, Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 có hiệu lực từ ngày 1/1/2026, và Luật Dữ liệu số 60/2024/QH15 có hiệu lực từ ngày 1/7/2025; theo Nghị định số 165/2025/NĐ-CP, việc chuyển dữ liệu cốt lõi và dữ liệu quan trọng ra nước ngoài phải được chấp thuận. Tại EU, GDPR đặt khung chung cho dữ liệu cá nhân, còn Đạo luật Dữ liệu của EU trao cho người dùng quyền đối với dữ liệu từ sản phẩm và dịch vụ kết nối.

Chúng tôi thiết kế sản phẩm dữ liệu với hợp đồng ghi rõ dữ liệu được xử lý ở đâu, cho mục đích nào và trong bao lâu, để nền tảng áp dụng đúng quy tắc cho từng quốc gia mà không cần các bản sao dữ liệu riêng.

Câu hỏi về dữ liệu và phân tích

Tổ chức có cần data mesh không?

Tổ chức cần những phần hữu ích của nó: sản phẩm dữ liệu có người phụ trách và hợp đồng dữ liệu. Phân quyền hoàn toàn chỉ hiệu quả ở tổ chức lớn có các nhóm nghiệp vụ trưởng thành. Nhiều tổ chức làm tốt hơn với một nhóm nền tảng trung tâm và quyền sở hữu sản phẩm dữ liệu nằm ở các nhóm nghiệp vụ.

Dữ liệu của tổ chức đã sẵn sàng cho AI chưa?

Một đánh giá ngắn, dựa trên mẫu, đối với các nguồn mà một tình huống sử dụng cần sẽ trả lời câu hỏi này: độ bao phủ, chất lượng, quyền truy cập và cơ sở pháp lý. Câu trả lời thường là “một phần”, kèm danh sách rõ ràng những gì cần sửa trước. Các nhóm Phát triển AI của chúng tôi dùng cùng cách đánh giá này.

Chúng tôi đã có kho dữ liệu. Có phải làm lại từ đầu không?

Hiếm khi. Một kho dữ liệu đang cung cấp báo cáo đáng tin cậy là một tài sản. Chúng tôi thường mở rộng nó bằng năng lực lakehouse cho dữ liệu phi cấu trúc và dữ liệu khối lượng lớn, và chỉ chuyển đổi khi chi phí hoặc giới hạn kỹ thuật cho thấy cần thiết.

Việc chia sẻ dữ liệu với đối tác hoặc với cơ quan khác được xử lý thế nào?

Thông qua sản phẩm dữ liệu cung cấp qua API có quản trị, với thỏa thuận, giới hạn mục đích và nhật ký đầy đủ. Khi dữ liệu cốt lõi hoặc dữ liệu quan trọng theo Luật Dữ liệu được chuyển ra nước ngoài, Nghị định số 165/2025/NĐ-CP yêu cầu việc chuyển đó phải được chấp thuận; với đối tác tại EU, Đạo luật Quản trị dữ liệu hoặc Đạo luật Dữ liệu của EU có thể áp dụng. Chúng tôi thiết kế biện pháp kiểm soát kỹ thuật tương ứng.

Hãy nêu quyết định mà dữ liệu hiện nay chưa cho phép đưa ra

Chúng tôi sẽ truy ngược những gì quyết định đó cần về đến các nguồn dữ liệu và cho thấy một sản phẩm dữ liệu đầu tiên đòi hỏi những gì.