Phát triển AIDữ liệu
Điều gì làm nên tìm kiếm tri thức doanh nghiệp đáng tin cậy
Trả lời câu hỏi từ chính tài liệu của tổ chức thì dễ trình diễn nhưng khó tin cậy. Sự tin cậy đến từ năm đặc tính có thể thiết kế, kiểm thử và tiếp tục kiểm thử: phân quyền, nguồn gốc, tính cập nhật, thừa nhận khoảng trống và chất lượng được đo lường.
- Tác giả
- Ban biên tập FromNine
- Ngày đăng
- Thời gian đọc
- 10 phút đọc
Tóm tắt
- Áp dụng quyền truy cập ngay tại bước truy xuất, theo từng người dùng, lấy từ hệ thống nguồn. Đừng bao giờ trông cậy vào việc mô hình tự giữ kín một đoạn văn đã được đưa cho nó.
- Mỗi nhận định trong câu trả lời nên dẫn đến một đoạn văn mà người đọc có thể mở và kiểm tra trong vài giây, với ngày tháng và trạng thái hiển thị rõ.
- Đo chất lượng truy xuất và câu trả lời trên các câu hỏi thực tế trước khi đưa vào vận hành, và tiếp tục đo, vì nội dung và mô hình luôn thay đổi bên dưới.
Mục lục
Vấn đề của bản trình diễn
Phần lớn trợ lý tri thức đi theo cùng một mô hình, gọi là tạo sinh tăng cường truy xuất (mở trang web bên ngoài) (retrieval-augmented generation, RAG): tìm các đoạn văn khớp với câu hỏi, rồi để mô hình ngôn ngữ viết câu trả lời dựa trên các đoạn đó. Trên một thư mục chọn lọc gồm năm mươi tài liệu, cách làm này cho kết quả thuyết phục chỉ trong một tuần.
Khi vận hành thực tế, tình hình khác hẳn. Hai mươi năm ổ đĩa dùng chung, wiki, phiếu yêu cầu hỗ trợ, hợp đồng và chính sách, nhiều tài liệu bị trùng lặp, lỗi thời hoặc mật. Trong bối cảnh đó, trợ lý thất bại theo hai cách. Nó trả lời sai và người dùng thôi sử dụng. Hoặc tệ hơn, nó trả lời sai một cách tự tin và người dùng hành động theo.
Vì vậy, tìm kiếm tri thức đáng tin cậy ít liên quan đến mô hình mà liên quan nhiều hơn đến năm đặc tính của hệ thống xung quanh mô hình. Mỗi đặc tính đều có thể thiết kế và, quan trọng hơn, có thể kiểm thử.
Phân quyền: chỉ truy xuất những gì người dùng được phép đọc
Nguyên tắc rất đơn giản: trợ lý không bao giờ được cho ai xem một đoạn văn mà họ không thể mở trong hệ thống nguồn. Điều quan trọng là thực thi ở đâu. Nếu một đoạn văn đã đến được mô hình, hãy coi như nó có thể xuất hiện trong câu trả lời. Vì vậy, quyền truy cập phải được áp dụng trước bước tạo sinh, ngay tại bước truy xuất, cho chính người đang đặt câu hỏi.
OWASP xếp cả lộ lọt thông tin nhạy cảm (mở trang web bên ngoài) lẫn điểm yếu của vector và embedding (mở trang web bên ngoài), trong đó có rò rỉ vượt ranh giới phân quyền, vào nhóm rủi ro chính của ứng dụng mô hình ngôn ngữ. Trên thực tế, điều đó dẫn đến bốn yêu cầu.
- Lưu quyền truy cập của từng tài liệu nguồn cùng với mọi đoạn (chunk) trong chỉ mục, lấy từ hệ thống nguồn thay vì định nghĩa lại bằng tay.
- Lọc theo các quyền đó tại thời điểm truy vấn, dựa trên danh tính của người dùng đã đăng nhập, trước bước xếp hạng và tạo sinh.
- Đồng bộ thay đổi về quyền ít nhất nhanh bằng thay đổi về nội dung, và thống nhất một quyền bị thu hồi phải có hiệu lực trong bao lâu.
- Kiểm thử với các vai trò thực tế. Câu hỏi “Nhân viên thử việc có tìm thấy thang lương không?” thuộc về bộ kiểm thử, không phải về buổi rà soát sau sự cố.
Nguồn gốc: trích dẫn mà người đọc kiểm tra được
Mỗi nhận định trong câu trả lời nên dẫn đến đoạn văn mà nó được lấy ra: tiêu đề tài liệu, phiên bản hoặc ngày, người phụ trách, và một liên kết mở đúng vị trí. Hiển thị chính đoạn văn, không chỉ tên tài liệu, để người đọc thấy ngay trong vài giây trích dẫn có hỗ trợ câu văn hay không.
Thiết kế định dạng câu trả lời sao cho phần văn bản không có căn cứ trở nên nổi bật. Nếu không đoạn văn truy xuất nào hỗ trợ một câu, hệ thống nên bỏ câu đó hoặc đánh dấu nó. Sau đó kiểm tra tự động: so sánh từng đoạn được trích dẫn với nhận định mà nó cần chứng minh, và lấy mẫu kết quả để con người xem xét. Trích dẫn có tồn tại nhưng không hỗ trợ nhận định là một lỗi phổ biến và khó nhận ra.
Tính cập nhật và thẩm quyền
Tri thức của tổ chức có nhiều phiên bản. Quy định công tác phí cũ và mới đều khớp với câu hỏi “tôi có được đặt vé hạng thương gia không?”, và chúng cho câu trả lời khác nhau. Hãy lập chỉ mục cho siêu dữ liệu giúp phân biệt chúng: ngày hiệu lực, trạng thái (dự thảo, đã phê duyệt, đã được thay thế) và người phụ trách. Xếp tài liệu hiện hành, đã phê duyệt lên trước, loại tài liệu đã được thay thế trừ khi người dùng hỏi về lịch sử, và hiển thị ngày trong mọi trích dẫn.
Xác định theo từng chủ đề đâu là nguồn có thẩm quyền. Chính sách nhân sự lấy từ cổng thông tin nhân sự, không lấy từ một email trích dẫn phiên bản năm ngoái. Đặt nhịp lập chỉ mục lại cho từng nguồn, từ gần thời gian thực cho dữ liệu hồ sơ đến hằng ngày cho wiki, và theo dõi nhịp đó: chỉ mục lỗi thời tạo ra câu trả lời trông có vẻ đúng nhưng không đúng.
Thừa nhận khoảng trống: “Tôi không tìm thấy thông tin này”
Thường thì câu trả lời giá trị nhất là thừa nhận không có thông tin. Mô hình ngôn ngữ có thể tạo ra những nhận định trôi chảy mà không dựa trên bất cứ điều gì, hiện tượng NIST gọi là bịa đặt (mở trang web bên ngoài) (confabulation) trong hồ sơ AI tạo sinh của mình. Bám vào các đoạn văn được truy xuất giúp giảm hiện tượng này nhưng không loại bỏ được. OWASP coi hệ quả phía sau, khi con người hành động dựa trên kết quả sai, là một rủi ro riêng với tên gọi thông tin sai lệch (mở trang web bên ngoài) (misinformation).
Đặt một ngưỡng mức độ liên quan, dưới ngưỡng đó hệ thống trả lời rằng không tìm thấy nguồn đáng tin cậy và gợi ý nơi có thể hỏi. Với câu hỏi về chính sách, quyền lợi hay nghĩa vụ, đừng để mô hình lấp khoảng trống bằng kiến thức chung. Sau đó theo dõi tỷ lệ không có câu trả lời theo từng chủ đề. Trong những tháng đầu, danh sách này thường là kết quả hữu ích nhất của cả dự án: nó cho người phụ trách nội dung thấy chính xác tài liệu còn thiếu ở đâu.
Kiến trúc đằng sau năm đặc tính
Không có điều nào ở trên đòi hỏi một bộ công nghệ đặc biệt. Điều cần thiết là phân quyền, siêu dữ liệu và các bước kiểm tra là thành phần chính của chuỗi xử lý, chứ không phải tính năng bổ sung sau buổi trình diễn.
Hình 1
Quy trình minh họaĐọc sơ đồ dưới dạng văn bản
Tài liệu được lấy từ các hệ thống nguồn cùng với quyền truy cập và siêu dữ liệu như ngày, trạng thái và người phụ trách, rồi được lập chỉ mục.
Một câu hỏi đến kèm danh tính của người dùng đã đăng nhập. Bộ lọc phân quyền loại bỏ mọi đoạn văn mà người dùng đó không được đọc, trước khi bất cứ thứ gì đến được mô hình.
Mô hình soạn câu trả lời kèm trích dẫn đến các đoạn văn còn lại. Bước kiểm tra căn cứ so sánh từng nhận định với đoạn văn được trích dẫn. Người dùng nhận được câu trả lời có trích dẫn, hoặc một thông báo rõ ràng rằng không tìm thấy nguồn đáng tin cậy.
Dữ liệu cá nhân cần được chú ý riêng. Một chỉ mục tài liệu vẫn là một hoạt động xử lý dữ liệu cá nhân có trong các tài liệu đó, vì vậy các nguyên tắc giới hạn mục đích và tối thiểu hóa dữ liệu (mở trang web bên ngoài) của GDPR (Điều 5) áp dụng khi tổ chức thuộc phạm vi GDPR. Bỏ qua các nguồn mà tình huống sử dụng không cần, bảo đảm việc xóa dữ liệu trong hệ thống nguồn được phản ánh vào chỉ mục, và đưa chỉ mục vào phạm vi khi trả lời yêu cầu truy cập dữ liệu.
Tại Việt Nam, Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 và Nghị định số 356/2025/NĐ-CP có hiệu lực từ ngày 1/1/2026; luật áp dụng cả với tổ chức nước ngoài trực tiếp tham gia hoặc có liên quan đến hoạt động xử lý dữ liệu cá nhân của công dân Việt Nam (điểm c khoản 2 Điều 1). Nếu chỉ mục hoặc mô hình chạy trên dịch vụ điện toán đám mây, Nghị định số 356/2025/NĐ-CP yêu cầu dữ liệu cá nhân trên dịch vụ điện toán đám mây được mã hóa khi lưu trữ và khi truyền (khoản 4 Điều 12). Luật cũng yêu cầu lập hồ sơ đánh giá tác động xử lý dữ liệu cá nhân và gửi cho cơ quan chuyên trách bảo vệ dữ liệu cá nhân trong thời gian 60 ngày kể từ ngày đầu tiên xử lý (Điều 21), trừ các trường hợp được luật cho phép không áp dụng. Thiết kế chỉ mục với dữ liệu cá nhân tối thiểu giúp đáp ứng cả hai khung pháp lý cùng lúc.
Chất lượng được đo lường, trước và sau khi vận hành
Không thể đánh giá độ tin cậy bằng cách thử vài câu hỏi trong một cuộc họp. Hãy thống nhất tiêu chí chất lượng với những người phụ trách nội dung và đo riêng từng lớp, để biết cần sửa vấn đề ở đâu.
| Lớp | Câu hỏi | Cách đo |
|---|---|---|
| Truy xuất | Các đoạn văn đúng có được trả về không? | Độ phủ (recall) và độ chính xác (precision) trên một tập câu hỏi thực tế đã gắn nhãn |
| Căn cứ | Mọi nhận định có được trích dẫn hỗ trợ không? | Kiểm tra tự động giữa nhận định và đoạn văn, cùng việc con người xem xét theo mẫu |
| Câu trả lời | Câu trả lời có đúng, đầy đủ và hữu ích không? | Chuyên gia xem xét một mẫu theo tiêu chí đã thống nhất |
| Truy cập | Có ai thấy điều họ không được phép thấy không? | Bộ kiểm thử phân quyền theo từng vai trò, chạy mỗi khi chỉ mục hoặc bộ kết nối thay đổi |
| Sử dụng | Người dùng có dựa vào trợ lý không, và trợ lý thất bại ở đâu? | Phản hồi, tỷ lệ không có câu trả lời theo chủ đề, câu hỏi tiếp nối, các trường hợp chuyển lên cấp trên |
Xây dựng tập kiểm thử từ câu hỏi thực tế: nhật ký tìm kiếm, phiếu yêu cầu hỗ trợ, những câu đồng nghiệp mới hay hỏi. Vài trăm câu hỏi với câu trả lời được người phụ trách nội dung thống nhất là điểm khởi đầu thực tế. Chạy toàn bộ tập kiểm thử ở mỗi thay đổi, dù là mô hình mới, cách chia đoạn mới hay nguồn mới. Chất lượng trôi đi lặng lẽ khi nội dung thay đổi, và chỉ một tập kiểm thử cố định mới làm sự trôi đó lộ ra.
Đáng tin cậy trong mắt người dùng là thế nào
Với người sử dụng, tất cả những điều trên quy về một vài hành vi quan sát được. Trợ lý chỉ trả lời từ tài liệu họ được phép đọc. Mọi nhận định đều có trích dẫn mà họ mở được. Họ thấy được một nguồn cập nhật đến đâu. Họ được cho biết rõ ràng khi không có câu trả lời đáng tin cậy. Và họ biết có người đang đo chất lượng, vì họ có thể báo một câu trả lời sai và thấy nó được sửa.
Kết quả do AI tạo ra vẫn có thể sai, và có những câu hỏi nên do con người trả lời thay vì một công cụ tìm kiếm. Thiết kế công khai cho điều đó không phải điểm yếu của hệ thống. Chính điều đó khiến người dùng sẵn sàng dựa vào hệ thống cho phần còn lại.
Nguồn tham khảo
- arXiv. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis và cộng sự, 2020) (truy cập ngày )
- OWASP GenAI Security Project. LLM02:2025 Sensitive Information Disclosure (lộ lọt thông tin nhạy cảm) (truy cập ngày )
- OWASP GenAI Security Project. LLM08:2025 Vector and Embedding Weaknesses (điểm yếu của vector và embedding) (truy cập ngày )
- OWASP GenAI Security Project. LLM09:2025 Misinformation (thông tin sai lệch) (truy cập ngày )
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), hồ sơ rủi ro AI tạo sinh (truy cập ngày )
- EUR-Lex. Quy định (EU) 2016/679 (Quy định chung về bảo vệ dữ liệu, GDPR), Điều 5 (truy cập ngày )
Đọc tiếp
- Dịch vụPhát triển AITruy xuất, chiến lược mô hình, đánh giá và LLMOps cho AI tạo sinh vận hành ổn định trong thực tế.
- Giải phápTri thức doanh nghiệpCâu trả lời từ chính tài liệu của tổ chức, giới hạn theo quyền xem của từng người, kèm nguồn cho mọi nhận định.
- Góc nhìnKhi nào tác tử AI cần con người phê duyệtTác tử AI có thể chuẩn bị gần như mọi việc. Cách thực tế để quyết định hành động nào tác tử được tự hoàn tất và hành động nào cần một người đồng ý.
- Góc nhìnĐạo luật AI của EU cho cơ quan nhà nước: cần chuẩn bị gì trước tháng 12/2027Sau lần sửa đổi năm 2026, các quy định về AI rủi ro cao áp dụng từ tháng 12/2027, nhưng nhiều phần đã có hiệu lực. Kế hoạch chuẩn bị theo mốc thời gian cho cơ quan nhà nước tại EU.
Muốn tra cứu tri thức của chính tổ chức?
Chúng tôi xây dựng trợ lý tri thức trên các nguồn sẵn có của quý vị, với phân quyền, trích dẫn và một tập kiểm thử được thống nhất với người phụ trách nội dung ngay từ sprint đầu tiên.