การค้นหาความรู้ในองค์กรที่เชื่อถือได้: 5 คุณสมบัติที่ต้องออกแบบ

01ปัญหาของการสาธิต

ผู้ช่วยค้นหาความรู้ส่วนใหญ่ใช้รูปแบบเดียวกันที่เรียกว่าการสร้างคำตอบเสริมด้วยการค้นคืน (retrieval-augmented generation หรือ RAG) (เปิดเว็บไซต์ภายนอก) คือค้นหาข้อความที่ตรงกับคำถาม แล้วให้โมเดลภาษาเขียนคำตอบโดยยึดข้อความเหล่านั้น กับโฟลเดอร์ที่คัดเอกสารไว้ 50 ฉบับ วิธีนี้ทำงานได้น่าประทับใจภายในสัปดาห์เดียว

การใช้งานจริงต่างออกไป ไดรฟ์ที่ใช้ร่วมกัน วิกิ ตั๋วงาน สัญญา และนโยบายที่สะสมมา 20 ปี จำนวนมากซ้ำกัน ล้าสมัย หรือเป็นความลับ ในสภาพแบบนี้ผู้ช่วยล้มเหลวได้ 2 แบบ แบบแรกคือตอบผิดแล้วคนเลิกใช้ แบบที่แย่กว่าคือตอบผิดอย่างมั่นใจแล้วคนทำตาม

การค้นหาความรู้ที่เชื่อถือได้จึงขึ้นกับโมเดลน้อยกว่าขึ้นกับคุณสมบัติ 5 ข้อของระบบที่อยู่รอบโมเดล ทุกข้อออกแบบได้ และที่สำคัญคือทดสอบได้

02สิทธิ์การเข้าถึง: ค้นคืนเฉพาะสิ่งที่ผู้ใช้งานมีสิทธิ์อ่าน

กฎนั้นง่าย ผู้ช่วยต้องไม่แสดงข้อความที่ผู้ใช้งานเปิดในระบบต้นทางไม่ได้ สิ่งสำคัญคือจุดที่บังคับใช้กฎ ถ้าข้อความไปถึงโมเดลแล้ว ให้ถือว่าข้อความนั้นอาจปรากฏในคำตอบ จึงต้องใช้สิทธิ์การเข้าถึงก่อนการสร้างคำตอบ คือตอนค้นคืนข้อมูล สำหรับผู้ใช้งานที่ถามคนนั้น

OWASP จัดทั้งการเปิดเผยข้อมูลอ่อนไหว (sensitive information disclosure) (เปิดเว็บไซต์ภายนอก)และจุดอ่อนของเวกเตอร์และ embedding (เปิดเว็บไซต์ภายนอก) ซึ่งรวมถึงการรั่วไหลข้ามขอบเขตสิทธิ์ ไว้ในความเสี่ยงหลักของแอปพลิเคชันที่ใช้โมเดลภาษา ในทางปฏิบัติจึงมีข้อกำหนด 4 ข้อ

• เก็บสิทธิ์การเข้าถึงของเอกสารต้นทางไว้กับทุกส่วนย่อยในดัชนี โดยดึงจากระบบต้นทาง ไม่กำหนดใหม่ด้วยมือ
• กรองตามสิทธิ์เหล่านั้นตอนค้นหา โดยใช้ตัวตนของผู้ใช้งานที่ลงชื่อเข้าใช้ ก่อนการจัดอันดับและการสร้างคำตอบ
• ซิงก์การเปลี่ยนสิทธิ์ให้เร็วอย่างน้อยเท่ากับการเปลี่ยนเนื้อหา และตกลงกันว่าสิทธิ์ที่ถูกเพิกถอนต้องมีผลภายในเวลาเท่าใด
• ทดสอบกับบทบาทจริง คำถามอย่าง “พนักงานฝึกงานค้นเจออัตราเงินเดือนได้หรือไม่” ควรอยู่ในชุดทดสอบ ไม่ใช่ในรายงานทบทวนหลังเกิดเหตุ

03ที่มาของคำตอบ: การอ้างอิงที่คนตรวจได้

ทุกข้อความในคำตอบควรชี้ไปยังข้อความต้นทาง ได้แก่ ชื่อเอกสาร ฉบับหรือวันที่ เจ้าของ และลิงก์ที่เปิดตรงไปยังตำแหน่งนั้น แสดงตัวข้อความต้นทางด้วย ไม่ใช่เพียงชื่อเอกสาร เพื่อให้ผู้อ่านเห็นได้ในไม่กี่วินาทีว่าการอ้างอิงรองรับประโยคนั้นจริง

ออกแบบรูปแบบคำตอบให้ข้อความที่ไม่มีหลักฐานรองรับเห็นได้ชัด ถ้าไม่มีข้อความที่ค้นคืนมารองรับประโยคใด ระบบควรตัดประโยคนั้นออกหรือทำเครื่องหมายไว้ จากนั้นตรวจโดยอัตโนมัติ เทียบข้อความที่อ้างอิงกับข้อกล่าวอ้างที่ข้อความนั้นควรรองรับ และสุ่มผลให้คนตรวจทาน การอ้างอิงที่มีอยู่แต่ไม่รองรับข้อกล่าวอ้างเป็นความล้มเหลวที่พบบ่อยและสังเกตได้ยาก

04ความเป็นปัจจุบันและแหล่งที่เชื่อถือได้

ความรู้ขององค์กรมีหลายฉบับ ระเบียบการเดินทางฉบับเก่าและฉบับใหม่ตรงกับคำถาม “จองที่นั่งชั้นธุรกิจได้หรือไม่” ทั้งคู่ แต่ให้คำตอบต่างกัน ให้จัดทำดัชนีเมทาดาทาที่แยกฉบับเหล่านี้ออกจากกัน ได้แก่ วันที่มีผล สถานะ (ร่าง อนุมัติแล้ว ถูกแทนที่) และเจ้าของ จัดอันดับเอกสารที่เป็นปัจจุบันและอนุมัติแล้วไว้ก่อน ตัดเอกสารที่ถูกแทนที่ออกเว้นแต่ผู้ใช้งานถามถึงประวัติ และแสดงวันที่ในการอ้างอิงทุกครั้ง

กำหนดเป็นรายหัวข้อว่าแหล่งใดเป็นแหล่งที่เชื่อถือได้ นโยบายด้านบุคคลมาจากพอร์ทัลฝ่ายบุคคล ไม่ใช่จากอีเมลที่ยกฉบับของปีที่แล้วมา กำหนดรอบการทำดัชนีใหม่ของแต่ละแหล่ง ตั้งแต่เกือบเรียลไทม์สำหรับข้อมูลคำขอ ไปจนถึงวันละครั้งสำหรับวิกิ และติดตามรอบเหล่านั้น ดัชนีที่ล้าสมัยให้คำตอบที่ดูถูกต้องแต่ไม่ถูกต้อง

05การบอกตรง ๆ ว่า “ไม่พบข้อมูลนี้”

หลายครั้งคำตอบที่มีค่าที่สุดคือการบอกตรง ๆ ว่าไม่พบ โมเดลภาษาสร้างข้อความที่ลื่นไหลแต่ไม่มีอะไรรองรับได้ ซึ่ง NIST เรียกว่าการสร้างข้อมูลที่ไม่มีอยู่จริง (confabulation) (เปิดเว็บไซต์ภายนอก)ในโปรไฟล์ Generative AI การยึดข้อความที่ค้นคืนมาช่วยลดปัญหานี้แต่ไม่ได้ขจัดออกไป OWASP จัดผลที่ตามมา คือการที่คนทำตามผลลัพธ์ที่ผิด เป็นความเสี่ยงอีกข้อหนึ่งภายใต้หัวข้อข้อมูลที่ผิดพลาด (misinformation) (เปิดเว็บไซต์ภายนอก)

กำหนดเกณฑ์ความเกี่ยวข้อง หากต่ำกว่าเกณฑ์ ระบบต้องบอกว่าไม่พบแหล่งที่เชื่อถือได้ และแนะนำว่าควรถามที่ใดแทน สำหรับคำถามเรื่องนโยบาย สิทธิ หรือหน้าที่ อย่าให้โมเดลเติมช่องว่างจากความรู้ทั่วไป จากนั้นติดตามอัตราการไม่มีคำตอบแยกตามหัวข้อ ในช่วงเดือนแรก ๆ รายการนี้มักเป็นผลลัพธ์ที่มีประโยชน์ที่สุดของทั้งโครงการ เพราะชี้ให้เจ้าของเนื้อหาเห็นว่าเอกสารขาดตรงไหน

06สถาปัตยกรรมเบื้องหลังคุณสมบัติทั้ง 5 ข้อ

ทั้งหมดนี้ไม่ต้องใช้เทคโนโลยีแปลกใหม่ แต่ต้องให้สิทธิ์การเข้าถึง เมทาดาทา และการตรวจสอบเป็นส่วนหลักของไปป์ไลน์ ไม่ใช่ฟีเจอร์ที่เติมเข้ามาหลังการสาธิต

ข้อมูลส่วนบุคคลต้องได้รับความใส่ใจเป็นพิเศษ ดัชนีของเอกสารยังเป็นการประมวลผลข้อมูลส่วนบุคคลที่อยู่ในเอกสารนั้น หลักการจำกัดวัตถุประสงค์และการใช้ข้อมูลเท่าที่จำเป็น (เปิดเว็บไซต์ภายนอก)ของ GDPR (มาตรา 5) จึงใช้บังคับกับองค์กรที่อยู่ภายใต้ GDPR ตัดแหล่งข้อมูลที่กรณีการใช้งานไม่ต้องใช้ออก ตรวจให้การลบในระบบต้นทางไปถึงดัชนีด้วย และรวมดัชนีไว้เมื่อตอบคำขอเข้าถึงข้อมูล

เมื่อเอกสารมีข้อมูลส่วนบุคคลตาม PDPA

สำหรับองค์กรในประเทศไทย พ.ร.บ.คุ้มครองข้อมูลส่วนบุคคล พ.ศ. 2562 (PDPA) ตั้งคำถามคล้ายกัน เก็บรวบรวมข้อมูลส่วนบุคคลเท่าที่จำเป็นตามวัตถุประสงค์ ไม่นำเอกสารทุกโฟลเดอร์เข้าดัชนีเพียงเพราะทำได้ และจัดให้มีมาตรการรักษาความมั่นคงปลอดภัยที่เหมาะสมและทบทวนเมื่อจำเป็น (มาตรา 37 (1)) ตัวกรองสิทธิ์ก่อนการสร้างคำตอบ การซิงก์การเพิกถอนสิทธิ์ และชุดทดสอบสิทธิ์ตามบทบาทในบทความนี้ เป็นส่วนหนึ่งของมาตรการเหล่านั้นได้ เมื่อเจ้าของข้อมูลส่วนบุคคลใช้สิทธิของตน ดัชนีก็ต้องอยู่ในขอบเขตการตรวจสอบด้วย

ตัวอย่างประกอบ: บริษัทประกันภัยขนาดกลางอาจเปิดให้เจ้าหน้าที่ค้นคู่มือการพิจารณารับประกันและขั้นตอนการทำงานผ่านผู้ช่วยค้นหาความรู้ โดยเจ้าหน้าที่ฝ่ายสินไหมเห็นเฉพาะคู่มือที่ฝ่ายของตนเปิดได้ในระบบต้นทาง ทุกคำตอบอ้างอิงฉบับและวันที่มีผลของคู่มือ และเอกสารที่มีข้อมูลลูกค้ารายบุคคลไม่ถูกนำเข้าดัชนีตั้งแต่ต้น

07คุณภาพที่วัดผลได้ ทั้งก่อนและหลังเปิดใช้งาน

ความน่าเชื่อถือประเมินไม่ได้ด้วยการลองถามไม่กี่คำถามในห้องประชุม ตกลงเกณฑ์คุณภาพกับผู้ที่เป็นเจ้าของเนื้อหา และวัดแต่ละชั้นแยกกัน เพื่อให้รู้ว่าต้องแก้ปัญหาที่จุดใด

สร้างชุดทดสอบจากคำถามจริง เช่น บันทึกการค้นหา ตั๋วงานของฝ่ายช่วยเหลือ และคำถามของพนักงานใหม่ คำถามหลักร้อยข้อพร้อมคำตอบที่เจ้าของเนื้อหาเห็นชอบเป็นจุดเริ่มต้นที่ใช้ได้จริง รันชุดทดสอบทั้งหมดทุกครั้งที่มีการเปลี่ยนแปลง ไม่ว่าจะเป็นโมเดลใหม่ วิธีแบ่งเอกสารใหม่ หรือแหล่งข้อมูลใหม่ คุณภาพเปลี่ยนไปอย่างเงียบ ๆ เมื่อเนื้อหาเปลี่ยน และมีเพียงชุดทดสอบที่คงที่เท่านั้นที่ทำให้เห็นการเปลี่ยนนั้น

08ความน่าเชื่อถือในมุมของผู้ใช้งาน

สำหรับผู้ใช้งาน ทั้งหมดนี้สรุปได้เป็นพฤติกรรมไม่กี่อย่างที่สังเกตได้ ผู้ช่วยตอบจากเอกสารที่ผู้ใช้งานมีสิทธิ์อ่านเท่านั้น ทุกข้อกล่าวอ้างมีการอ้างอิงที่เปิดดูได้ ผู้ใช้งานเห็นว่าแหล่งข้อมูลเป็นปัจจุบันเพียงใด ระบบบอกตรง ๆ เมื่อไม่มีคำตอบที่เชื่อถือได้ และผู้ใช้งานรู้ว่ามีคนวัดคุณภาพอยู่ เพราะแจ้งคำตอบที่ผิดได้และเห็นว่ามีการแก้ไข

ผลลัพธ์จาก AI ยังผิดพลาดได้ และบางคำถามควรได้คำตอบจากคน ไม่ใช่จากการค้นหา การออกแบบโดยยอมรับข้อนี้อย่างเปิดเผยไม่ใช่จุดอ่อนของระบบ แต่เป็นสิ่งที่ทำให้คนยอมพึ่งพาระบบในเรื่องที่เหลือ