คำตอบจาก AI ที่มีชื่อเอกสารกับลิงก์ต่อท้ายดูตรวจสอบง่ายกว่าข้อความลอยๆ คนอ่านสามารถเปิดกลับไปดูต้นทางได้ แต่การมีลิงก์ยังไม่บอกว่าข้อความทุกส่วนในคำตอบได้รับการรองรับจากหน้าเหล่านั้นจริงหรือไม่
บางครั้งเอกสารมีเรื่องที่เกี่ยวข้องแต่ไม่ยืนยันข้อสรุปที่เขียนออกมา หรือพูดถึงคนละรุ่นกับคำถาม ส่วนอีกกรณีหนึ่งค้นหลักฐานที่ถูกมาแล้ว แต่คำตอบขยายเกินเงื่อนไขที่เอกสารกำหนด ทั้งหมดนี้อาจดูเหมือนตอบพร้อมอ้างอิงเหมือนกันบนหน้าจอ
การตรวจ RAG จึงควรแยกหลายคำถามครับ ทั้งค้นข้อมูลที่ควรได้หรือไม่ ใช้ข้อมูลนั้นตรงความหมายไหม และคำตอบช่วยตอบสิ่งที่ผู้ใช้ถามจริงหรือเปล่า
ขั้นแรกอาจตรวจได้ว่าลิงก์มีอยู่ เปิดได้และเป็นแหล่งที่อนุญาต แต่ขั้นถัดไปต้องดูข้อความที่อ้างว่ารองรับข้อใด การได้หน้าเอกสารเรื่องเดียวกันไม่ได้ทำให้ทุกประโยคที่โมเดลเขียนตามหลังเป็นข้อเท็จจริงของหน้านั้นโดยอัตโนมัติ
ถ้าคำตอบประกอบด้วยหลายข้อ ควรจับคู่แต่ละข้อกับส่วนหลักฐานที่เกี่ยวข้อง ไม่วางลิงก์รวมสองสามอันไว้ท้ายย่อหน้ายาวจนตรวจไม่ได้ว่าข้อความใดอาศัยแหล่งใด โดยเฉพาะตัวเลข เงื่อนไขและข้อยกเว้นที่มีผลต่อการนำไปใช้
ส่วนการอนุมานจากหลายแหล่งก็ต้องบอกขอบเขต ไม่ใส่ถ้อยคำเหมือนเป็นข้อความยืนยันจากเอกสารหนึ่งทั้งที่เป็นข้อสรุปที่ระบบสร้างเพิ่ม หากยังไม่มีหลักฐานพอ การระบุสิ่งที่ไม่รู้หรือขอข้อมูลเพิ่มย่อมเป็นผลลัพธ์ที่ควรอยู่ในเกณฑ์ตรวจด้วย
หากส่วนที่ควรใช้ตอบไม่เคยถูกดึงเข้ามา โมเดลก็ไม่ได้มีหลักฐานชิ้นนั้นอยู่ใน context ของคำขอ เราจึงควรเก็บผลค้นและเงื่อนไขที่ใช้ด้วย เช่น document ID รุ่น ชิ้นที่ส่งเข้า และขอบเขตสิทธิ์ตามที่อนุญาตให้ตรวจ
เมื่อดูข้อมูลนี้ จะเริ่มแยกได้ว่าค้นผิดเรื่อง รุ่นเก่าขึ้นมาแทน หรือข้อความถูกตัดจนขาดเงื่อนไข ส่วนถ้าหลักฐานที่ต้องใช้มาครบแล้วแต่คำตอบยังผิด ก็เป็นอีกกลุ่มที่ต้องตาม prompt ขั้นสร้างคำตอบและวิธีบังคับขอบเขตต่อ
การปรับทุกอย่างพร้อมกันจะทำให้รู้ยากว่าอะไรช่วยงาน การเก็บรุ่นของเอกสาร ขั้นค้นและวิธีตอบไว้ แล้วเปลี่ยนทีละส่วนตามข้อที่พลาด ช่วยให้ผลตรวจอธิบายการตัดสินใจได้มากกว่าการลองจนได้คำตอบที่ชอบหนึ่งรอบ
งานวิจัย Ragas แยกมุมอย่าง faithfulness ของคำตอบต่อ context ความตรงคำถาม และความเกี่ยวข้องของบริบทที่ค้นมา ช่วยให้เห็นว่าคุณภาพของระบบไม่ได้มีแกนเดียวที่ยุบเป็นคำว่าดีหรือไม่ดีได้ง่ายๆ
แต่คำตอบที่สอดคล้องกับ context อาจยังอ้างเอกสารล้าสมัยหรือคนละขอบเขตได้ หากบริบทนั้นถูกเลือกมาผิดตั้งแต่ต้น การตรวจจึงต้องรักษาทั้งความสัมพันธ์ของคำตอบกับข้อความ และความเหมาะสมของข้อความนั้นต่อโจทย์จริง
ในทางกลับกัน คำตอบอาจตรงกับความรู้ทั่วไปแต่ไม่มีหลักฐานในชุดที่ระบบอ้าง หากงานต้องการตอบจากเอกสารที่กำหนด ก็ควรนับประเด็นนี้แยก ไม่ให้ความที่บังเอิญถูกกลบการอ้างแหล่งที่รองรับไม่ได้
การใช้แต่คำถามที่มีคำตอบชัดอยู่ในเอกสารทำให้ไม่เห็นพฤติกรรมเมื่อข้อมูลขาด ควรมีกรณีถามเรื่องที่ไม่มีในชุดหลักฐาน รุ่นที่ยังไม่ได้ระบุ และข้อมูลสองฉบับที่ใช้ได้คนละช่วง เพื่อดูว่าระบบถามเพิ่มหรือบอกข้อจำกัดได้หรือไม่
ตัวอย่างสมมติอาจเป็นคู่มือสองรุ่นที่กำหนดวิธีส่งงานต่างกัน แล้วมีคำถามที่ไม่บอกว่าใช้รุ่นใด คำตอบที่เหมาะอาจต้องแยกเงื่อนไขของแต่ละรุ่นหรือขอข้อมูลเพิ่ม ไม่ใช่เลือกข้อความที่ค้นได้อันดับแรกแล้วตัดสินให้ทุกกรณี
ควรมีโจทย์ที่ต้องอ่านข้อยกเว้นและโจทย์ที่มีคำคล้ายแต่ความหมายต่างด้วย พร้อมระบุหลักฐานหรือผลที่ยอมรับได้โดยเจ้าของงาน ไม่ใช้คำตอบจากโมเดลเดียวกันเป็นเฉลยทั้งหมดแล้วเอามาตรวจว่ามันเห็นด้วยกับตัวเองมากแค่ไหน
เครื่องมือที่ให้โมเดลช่วยแยกข้อกล่าวอ้างหรือประเมินความสัมพันธ์สามารถลดงานบางส่วนได้ แต่ผลตัดสินของตัวช่วยก็อาจผิดหรือเปลี่ยนตามข้อความที่ให้เห็น จึงควรเทียบกับตัวอย่างที่คนตรวจไว้และทบทวนกรณีที่ไม่สอดคล้องกัน
หากเปลี่ยนเกณฑ์หรือรุ่นของตัวประเมิน ต้องบันทึกไว้เหมือนการเปลี่ยนส่วนอื่นของ pipeline ไม่เปรียบเทียบคะแนนคนละวิธีแล้วสรุปว่าระบบตอบดีขึ้นทันที โดยยังไม่รู้ว่าความต่างมาจากผู้ตอบหรือตัวให้คะแนน
สำหรับคำตอบที่ยอมรับได้หลายสำนวน เกณฑ์ควรตรวจสาระที่ต้องมีและสิ่งที่ห้ามสรุปเกิน มากกว่าบังคับข้อความตรงตัวทั้งหมด ไม่เช่นนั้นอาจปฏิเสธคำตอบถูกเพียงเพราะใช้คำต่างกัน และไม่เห็นคำตอบที่รูปแบบเหมือนเฉลยแต่ความหมายผิด
ควรแยกข้อผิดพลาดตามชั้น เช่น ไม่พบหลักฐาน พบผิดรุ่น ใช้ข้อมูลเกินต้นทาง หรือไม่ตอบคำถาม แทนการแสดงคะแนนรวมค่าเดียวแล้วไม่รู้ว่าต้องแก้อะไร ขนาดและที่มาของชุดตรวจก็ควรถูกระบุเพื่อให้เข้าใจขอบเขตที่ผลนั้นครอบคลุม
ชุดที่ใช้ปรับควรแยกจากส่วนที่เก็บไว้ตรวจการเปลี่ยนภายหลัง และรักษาข้อมูลส่วนตัวกับสิทธิ์ของเอกสารตามเดิม การเห็นว่าตอบได้จากตัวอย่างที่ใช้แก้ prompt มาแล้วอาจยังไม่สะท้อนงานใหม่ที่ระบบต้องเจอจริง ผลที่ยังไม่ได้วัดจึงควรเก็บเป็นแผนตรวจ แทนการเติมตัวเลขความแม่นให้ดูสมบูรณ์
ผลตรวจควรผูกกับฉบับคำถาม คำตอบและหลักฐานที่ใช้ในรอบนั้นด้วย เพราะลิงก์เดิมอาจถูกแก้เนื้อหาภายหลัง หากเก็บเพียงคะแนนกับ URL เราอาจย้อนอธิบายไม่ได้แล้วว่าตอนประเมินโมเดลได้อ่านข้อความใดและข้อที่ตัดสินว่าผิดขาดหลักฐานส่วนไหน
การมีอ้างอิงช่วยเปิดทางตรวจ แต่คุณภาพ RAG ต้องดูตั้งแต่หลักฐานที่ค้นมา รุ่นและขอบเขตที่ใช้ ไปจนถึงข้อกล่าวอ้างที่คำตอบสร้าง เมื่อมีชุดตรวจทั้งคำถามที่ตอบได้และควรขอข้อมูลเพิ่ม พร้อมแยกข้อผิดพลาดเป็นชั้น เราจะรู้ว่าควรแก้การค้น การจัดบริบทหรือการตอบ โดยไม่ใช้ลิงก์ที่เปิดได้เป็นตัวแทนความถูกต้องของทุกข้อความ