เอเจนต์ AI กับการอนุมัติโดยมนุษย์: งานใดต้องให้คนตัดสินใจ

01เอเจนต์ลงมือทำ คำถามจึงเปลี่ยนไป

ผู้ช่วยแบบแชตร่างข้อความ แล้วคนตัดสินใจว่าจะใช้ข้อความนั้นอย่างไร เอเจนต์ไปไกลกว่านั้นเพราะเรียกใช้เครื่องมือได้ เช่น ปรับปรุงข้อมูลในระบบ จองช่วงเวลา ส่งเรื่องต่อ ส่งข้อความ หรือเตรียมรายการจ่ายเงิน เมื่อซอฟต์แวร์ลงมือทำเอง คำถามที่สำคัญจึงไม่ได้มีเพียง “คำตอบนี้ดีหรือไม่” แต่รวมถึง “ใครรับผิดชอบการกระทำนี้ และตกลงให้ทำเมื่อใด”

วงการความมั่นคงปลอดภัยมีชื่อเรียกความผิดพลาดแบบนี้ OWASP Top 10 สำหรับแอปพลิเคชันที่ใช้โมเดลภาษาขนาดใหญ่จัดให้การให้อำนาจเอเจนต์เกินจำเป็น (excessive agency) (เปิดเว็บไซต์ภายนอก)เป็นความเสี่ยงหลัก คือเอเจนต์ที่มีฟังก์ชัน สิทธิ์ หรือความเป็นอิสระมากกว่าที่งานต้องการ การอนุมัติโดยมนุษย์เป็นมาตรการควบคุมอย่างหนึ่ง ถ้าใช้กับทุกงาน งานจะช้าลงและคนจะเคยชินกับการกด “อนุมัติ” ถ้าไม่ใช้เลย ก็จะมีการกระทำที่ไม่มีใครตัดสินใจ งานจริงจึงอยู่ที่การวางจุดอนุมัติให้ถูกที่

02เริ่มจากงานที่เอเจนต์ทำ ไม่ใช่จากโมเดล

ทำบัญชีเครื่องมือทุกตัวที่เอเจนต์เรียกใช้ได้ แล้วตอบคำถาม 4 ข้อสำหรับแต่ละตัว คำถามเหล่านี้ตั้งใจถามถึงการกระทำและผลของการกระทำ ไม่ได้ถามถึงโมเดล

1. 01ย้อนกลับได้หรือไม่ และต้องใช้ต้นทุนเท่าใด ตั้งแต่คลิกเดียว หนังสือแก้ไข การคืนเงิน ไปจนถึงคดีความ
2. 02ใครได้รับผลกระทบ ร่างภายใน เพื่อนร่วมงาน ลูกค้าหรือประชาชน เงิน หรือบุคคลภายนอก
3. 03ก่อให้เกิดข้อผูกพันหรือผลทางกฎหมายหรือไม่ เช่น การตัดสินใจเกี่ยวกับบุคคล การจ่ายเงิน สัญญา หรือข้อความที่ส่งในนามองค์กรของคุณ
4. 04เกิดบ่อยและเร็วเพียงใด งานที่เกิดขึ้นหลายพันครั้งต่อวันต้องใช้การควบคุมต่างจากงานที่เกิดสัปดาห์ละ 2 ครั้ง

คำตอบจะจัดแต่ละงานเข้าหนึ่งใน 4 ระดับ องค์กรส่วนใหญ่พบว่าความเสี่ยงเกือบทั้งหมดอยู่ที่งานเพียงไม่กี่ประเภท ซึ่งเป็นข่าวดี เพราะนั่นคือจุดที่ควรใช้แรงในการอนุมัติ

ระดับเหล่านี้เป็นเครื่องมือออกแบบ ไม่ใช่การจัดประเภทตามกฎหมาย จึงต้องตรวจสอบกับกฎที่ใช้กับองค์กรของคุณ GDPR ของสหภาพยุโรปให้สิทธิเฉพาะแก่บุคคลเกี่ยวกับการตัดสินใจที่อาศัยการประมวลผลอัตโนมัติเพียงอย่างเดียว (เปิดเว็บไซต์ภายนอก)ซึ่งก่อให้เกิดผลทางกฎหมายหรือผลที่สำคัญในทำนองเดียวกัน (มาตรา 22) สำหรับระบบที่มีความเสี่ยงสูง กฎหมาย AI ของสหภาพยุโรป (EU AI Act) กำหนดให้ระบบต้องกำกับดูแลโดยคนได้อย่างมีประสิทธิผล (เปิดเว็บไซต์ภายนอก) (มาตรา 14) ระดับ 4 คือจุดที่หน้าที่เหล่านี้มักตกอยู่

03สัญญาณที่ต้องส่งถึงคนเสมอ

บางสถานการณ์ควรยกงานขึ้นหนึ่งระดับ ไม่ว่าปกติงานนั้นจะอยู่ระดับใด ให้สร้างเป็นการตรวจสอบที่ชัดเจนในขั้นตอนการทำงาน เพื่อไม่ต้องพึ่งให้เอเจนต์สังเกตเห็นเอง

• ข้อมูลนำเข้าอยู่นอกขอบเขตที่ทดสอบเอเจนต์ไว้ เช่น เอกสารประเภทใหม่ ภาษาที่ไม่คุ้นเคย หรือช่องข้อมูลที่ขาดหายหรือขัดแย้งกัน
• แหล่งข้อมูลที่เอเจนต์ค้นมาขัดแย้งกัน หรือการกระทำที่เสนออาศัยสิ่งที่เอเจนต์อ้างอิงไม่ได้
• จำนวนเงิน ขอบเขต หรือจำนวนรายการที่ได้รับผลกระทบเกินเกณฑ์ที่กำหนดไว้
• เรื่องนั้นเกี่ยวกับข้อมูลประเภทอ่อนไหว เช่น ข้อมูลสุขภาพ ผู้เยาว์ ข้อร้องเรียน ข้อพิพาท หรือการอุทธรณ์ที่ยังไม่สิ้นสุด
• เอเจนต์ลองใหม่ไปแล้ว หรือระบบปลายทางแจ้งข้อผิดพลาดกลับมา

มีสัญญาณหนึ่งที่ตั้งใจไม่ใส่ไว้ในรายการ คือความมั่นใจของโมเดลเอง โมเดลภาษากล่าวสิ่งที่ผิดได้อย่างลื่นไหล ซึ่งสถาบันมาตรฐานและเทคโนโลยีแห่งชาติของสหรัฐอเมริกา (NIST) เรียกว่าการสร้างข้อมูลที่ไม่มีอยู่จริง (confabulation) (เปิดเว็บไซต์ภายนอก)ในโปรไฟล์ความเสี่ยงของ Generative AI คะแนนที่โมเดลรายงานเองอาจเป็นข้อมูลประกอบได้ แต่ต้องใช้คู่กับการตรวจสอบจากภายนอก เช่น กฎตรวจความถูกต้องของข้อมูลและการเทียบกับระบบที่เป็นข้อมูลหลัก ไม่ใช่ใช้แทนการตรวจสอบเหล่านั้น

04ออกแบบการอนุมัติที่คนให้ได้จริง

คำขออนุมัติที่ส่งมาต่อเนื่องไม่หยุดทำให้คนเคยชินกับการกดอนุมัติ EU AI Act ระบุความเสี่ยงนี้ไว้โดยตรงว่า ผู้ที่ได้รับมอบหมายให้กำกับดูแลระบบที่มีความเสี่ยงสูงต้องรู้เท่าทันอคติจากระบบอัตโนมัติ (automation bias) ได้ ใจความของบทบัญญัติสรุปได้ดังนี้ (สหภาพยุโรปไม่มีฉบับภาษาไทยอย่างเป็นทางการ)

การออกแบบ 4 ข้อต่อไปนี้ทำให้การรู้เท่าทันนั้นเกิดขึ้นได้จริง

แสดงหลักฐาน ไม่ใช่แค่คำตอบ

แสดงการกระทำที่เสนอด้วยภาษาที่เข้าใจง่าย พร้อมแหล่งข้อมูลที่ใช้ (ลิงก์ที่เปิดตรงไปยังข้อความที่เกี่ยวข้อง) กฎหรือนโยบายที่นำมาใช้ และสิ่งที่จะเปลี่ยนในระบบใดบ้าง ผู้ตรวจที่ต้องเปิดแอปพลิเคชัน 3 ตัวเพื่อตรวจข้อเสนอรายการเดียว จะเลิกตรวจเมื่อมีเวลาจำกัด

ทำให้การปฏิเสธง่ายเท่ากับการอนุมัติ

การปฏิเสธและการแก้ไขเป็นผลลัพธ์ปกติ ไม่ใช่ข้อยกเว้น วางปุ่มเหล่านี้ไว้ข้างปุ่มอนุมัติ ขอเหตุผลสั้น ๆ เมื่อมีการปฏิเสธ และนำเหตุผลเหล่านั้นไปใช้ประเมินผล ถ้าการแก้ไขข้อเสนอยากกว่าการเขียนใหม่ทั้งหมด คนจะเลือกอนุมัติข้อเสนอที่ยังไม่สมบูรณ์แทน

มอบการอนุมัติให้บทบาทที่มีอำนาจ

การอนุมัติควรเป็นของบทบาทที่กำหนดไว้ชัดเจน ซึ่งมีความรู้ความสามารถ การฝึกอบรม และอำนาจในการกลับผลของระบบ สำหรับระบบ AI ที่มีความเสี่ยงสูง EU AI Act กำหนดเรื่องนี้ไว้กับผู้ใช้งานระบบ (deployer) โดยตรง (มาตรา 26(2) (เปิดเว็บไซต์ภายนอก)) กำหนดผู้ทำหน้าที่แทนและเส้นทางส่งต่อเรื่อง และวัดระยะเวลาที่รายการรออนุมัติ คิวที่ไม่มีเจ้าของจะกลายเป็นคอขวดที่ผลักให้ทีมหาทางเลี่ยงจุดอนุมัติ

ตรวจเป็นชุดเฉพาะงานที่เสี่ยงต่ำจริง

การตรวจรายการที่แทบเหมือนกัน 40 รายการทีละรายการไม่ได้ทำให้ใครรอบคอบขึ้น สำหรับงานระดับ 2 ให้ตรวจเป็นชุดพร้อมสุ่มตรวจ ส่วนงานระดับ 3 และระดับ 4 ให้ตรวจทีละรายการ

05บังคับใช้จุดอนุมัติในระบบ ไม่ใช่ในพรอมต์

คำสั่งในพรอมต์ไม่ใช่การควบคุมสิทธิ์การเข้าถึง ข้อความที่เอเจนต์อ่าน เช่น อีเมล เอกสาร หรือหน้าเว็บ อาจมีคำสั่งแฝงอยู่ ซึ่ง OWASP เรียกว่าการแทรกคำสั่งในพรอมต์ (prompt injection) (เปิดเว็บไซต์ภายนอก) ถ้าสิ่งเดียวที่กั้นระหว่างเอเจนต์กับการกระทำที่ย้อนกลับไม่ได้คือประโยคหนึ่งในคำสั่งของเอเจนต์ ให้ถือว่าสักวันหนึ่งประโยคนั้นจะถูกลบล้าง

• ให้เอเจนต์มีตัวตนของตนเองพร้อมสิทธิ์น้อยที่สุดที่เครื่องมือแต่ละตัวต้องใช้ และทำงานภายในสิทธิ์ของผู้ใช้งานที่ส่งคำขอในกรณีที่แพลตฟอร์มรองรับ
• บังคับใช้การอนุมัติในชั้นการเชื่อมต่อระบบ บริการที่ส่งหนังสือจะปฏิเสธคำสั่ง หากไม่มีบันทึกการอนุมัติที่ถูกต้องสำหรับการกระทำนั้นโดยเฉพาะ
• กำหนดเพดานมูลค่า ปริมาณ และความถี่ให้เครื่องมือ โดยไม่ขึ้นกับเอเจนต์
• แยกเครื่องมืออ่านออกจากเครื่องมือเขียน เพื่อขยายสิ่งที่เอเจนต์มองเห็นได้โดยไม่ขยายสิ่งที่เอเจนต์ทำได้

06บันทึกสิ่งที่ต้องใช้อธิบายในภายหลัง

ทุกครั้งที่เอเจนต์ทำงาน ให้เก็บคำขอ แหล่งข้อมูลที่ค้นมา การเรียกใช้เครื่องมือแต่ละครั้งพร้อมพารามิเตอร์ การกระทำที่เสนอ ผู้อนุมัติ การตัดสินใจ การแก้ไข และเวลา สำหรับระบบ AI ที่มีความเสี่ยงสูง ผู้ใช้งานระบบต้องเก็บบันทึกที่ระบบสร้างขึ้นโดยอัตโนมัติไว้อย่างน้อย 6 เดือน เว้นแต่กฎหมายอื่นกำหนดไว้เป็นอย่างอื่น (มาตรา 26(6) (เปิดเว็บไซต์ภายนอก)) แม้ไม่มีกฎใดบังคับ ก็ควรเก็บไว้ เพราะบันทึกคือแหล่งเรียนรู้

ทบทวนบันทึกตามรอบที่กำหนด งานที่ได้รับอนุมัติโดยไม่มีการแก้ไขทุกครั้งเป็นตัวเลือกที่จะย้ายลงหนึ่งระดับ งานที่ต้องแก้ไขบ่อยชี้ถึงจุดอ่อนของเอเจนต์ หรือควรอยู่สูงขึ้นหนึ่งระดับ การปฏิเสธที่กระจุกอยู่ที่แหล่งข้อมูลเดียว แบบฟอร์มเดียว หรือทีมเดียว มักเผยปัญหาของกระบวนการที่โมเดลใดก็แก้ไม่ได้

07เมื่อองค์กรในประเทศไทยใช้เอเจนต์ AI

EU AI Act ไม่ได้ใช้บังคับเฉพาะกับองค์กรในยุโรป กฎหมายนี้ใช้กับผู้ให้บริการที่นำระบบ AI ออกสู่ตลาดสหภาพยุโรปไม่ว่าจะตั้งอยู่ที่ใด และใช้กับผู้ให้บริการและผู้ใช้งานระบบ AI นอกสหภาพยุโรปด้วย หากผลลัพธ์ของระบบถูกนำไปใช้ในสหภาพยุโรป (มาตรา 2(1)(a) และ (c)) องค์กรไทยที่ใช้เอเจนต์ในงานกับลูกค้าหรือบริษัทในเครือในยุโรปจึงควรตรวจว่างานใดเข้าข่ายนี้

สำหรับข้อมูลส่วนบุคคลที่ผ่านขั้นตอนการทำงานของเอเจนต์ พ.ร.บ.คุ้มครองข้อมูลส่วนบุคคล พ.ศ. 2562 (PDPA) กำหนดให้ผู้ควบคุมข้อมูลส่วนบุคคลจัดให้มีมาตรการรักษาความมั่นคงปลอดภัยที่เหมาะสม และทบทวนมาตรการเมื่อจำเป็น (มาตรา 37 (1)) สิทธิ์น้อยที่สุด การแยกเครื่องมืออ่านและเขียน และบันทึกการทำงานที่อธิบายได้ จึงเป็นส่วนหนึ่งของมาตรการเหล่านั้นได้ หากเกิดเหตุการละเมิดข้อมูลส่วนบุคคล ผู้ควบคุมข้อมูลต้องแจ้งสำนักงานคณะกรรมการคุ้มครองข้อมูลส่วนบุคคลโดยไม่ชักช้า และภายใน 72 ชั่วโมงนับแต่ทราบเหตุเท่าที่จะทำได้ เว้นแต่เหตุนั้นไม่มีความเสี่ยงที่จะกระทบต่อสิทธิและเสรีภาพของบุคคล (มาตรา 37 (4)) บันทึกที่ครบถ้วนช่วยให้ตอบได้เร็วว่าเอเจนต์เข้าถึงข้อมูลใด

ตัวอย่างประกอบ: ผู้ส่งออกอาหารขนาดกลางอาจให้เอเจนต์จับคู่ใบแจ้งหนี้จากผู้ขายกับใบสั่งซื้อและใบรับสินค้า รายการที่ตรงกันและมีมูลค่าต่ำกว่าวงเงินที่กำหนดอยู่ในระดับ 2 ส่วนรายการที่เกินวงเงิน หรือมีจำนวนหรือราคาไม่ตรงกัน อยู่ในระดับ 3 และรอให้เจ้าหน้าที่บัญชีอนุมัติก่อนตั้งจ่าย

08เริ่มจากขอบเขตแคบ แล้วค่อยย้ายงานลงระดับ

เริ่มใช้งานโดยให้งานที่มีผลกระทบมากที่สุดอยู่ในระดับ 3 และระดับ 4 ตกลงกันล่วงหน้าว่าผลลัพธ์แบบใดถือว่าดี ผลลัพธ์ใดถือว่าถูกต้อง และข้อผิดพลาดใดรับได้หรือรับไม่ได้ แล้ววัดผลตามเกณฑ์นั้น เช่น ใช้ฟังก์ชันการวัดผลของกรอบการบริหารความเสี่ยง AI ของ NIST (เปิดเว็บไซต์ภายนอก)เป็นรายการตรวจสอบ

ย้ายงานไปยังระดับที่เบาลงเมื่อมีหลักฐานเท่านั้น ได้แก่ ช่วงเวลาที่การอนุมัติไม่ต้องแก้ไขในสาระสำคัญ ผลการทดสอบกับกรณีที่เคยผิดพลาด และการลงนามรับรองจากเจ้าของกระบวนการ บันทึกการตัดสินใจนั้นเหมือนการเปลี่ยนแปลงระบบครั้งอื่น และเปิดทางให้ย้ายกลับได้

ผลลัพธ์จาก AI อาจผิดพลาดได้ นั่นไม่ใช่เหตุผลที่จะกันเอเจนต์ออกจากงานจริง แต่เป็นเหตุผลที่ต้องออกแบบว่าคนจะควบคุมงานไว้ที่จุดใด เอเจนต์มีประโยชน์เพราะลงมือทำได้ การวางจุดอนุมัติอย่างตั้งใจคือสิ่งที่ทำให้มอบงานให้เอเจนต์ได้มากขึ้นเมื่อเวลาผ่านไป