ภาพลวงตาของ “คำตอบที่ฟังดูดี” กับความจริงเรื่องประเมินความแม่นยำ AI
การประเมินความแม่นยำ AI คือกระบวนการตรวจสอบว่าเอาต์พุตของโมเดลสอดคล้องกับคำตอบที่ถูกต้องตามข้อเท็จจริง ไม่ใช่แค่เขียนได้ลื่นไหลหรือดูน่าเชื่อถือ แต่ต้องวัดเทียบกับคำตอบที่รู้ล่วงหน้าหรือ ground truth จึงจะเห็นประสิทธิภาพที่แท้จริงของการทดสอบโมเดล AI และการประเมินโมเดล machine learning ในบริบทธุรกิจอย่างโปร่งใสและตรวจสอบได้ เพื่อป้องกันไม่ให้ระบบตัดสินใจด้วยข้อมูลผิดๆ ที่ปกปิดตัวเองด้วยความมั่นใจสูงและภาษาที่ฟังดูถูกต้องโดยไม่มีหลักฐานรองรับ. ปัญหาหลักในวันนี้ไม่ใช่ว่า AI ให้คำตอบผิด แต่คือมันให้คำตอบผิดอย่างแนบเนียนและมั่นใจ จนผ่านการรีวิวเชิงคุณภาพของทีมภายในแบบไม่ถูกตั้งคำถาม. ผลคือองค์กรจำนวนมากกำลังใช้มาตรฐานระดับ “ดูสมเหตุสมผล” เป็นเกณฑ์ประเมินความแม่นยำ AI ทั้งที่เครื่องมือเหล่านี้เริ่มมีผลต่อการตัดสินใจธุรกิจจริง เช่น การสืบค้นสาเหตุปัญหาข้อมูล การกลั่นกรองเคสที่ต้องส่งต่อ หรือการจัดลำดับงานในทีมปฏิบัติการ ซึ่งล้วนต้องการคำตอบที่ถูกต้อง ไม่ใช่แค่คำอธิบายที่ฟังดูดี.
ทำไมการรีวิวเชิงคุณภาพถึงพลาดช่วงที่ AI มั่นใจที่สุดแต่ผิดที่สุด
การทดสอบโมเดล AI แบบดั้งเดิมมักเริ่มจากการให้ผู้เชี่ยวชาญดูตัวอย่างผลลัพธ์ แล้วตัดสินว่าคำตอบ “ดูใช้ได้” หรือไม่ แนวทางนี้จับได้แค่ข้อผิดพลาดที่ชัดเจน เช่น ตอบผิดหัวข้อ ฟอร์แมตเละ หรือให้เหตุผลที่ดูไม่สมเหตุสมผล. แต่สิ่งที่มันพลาดซ้ำแล้วซ้ำเล่าคือคำตอบที่ผิดเชิงเนื้อหาลึกๆ แต่เขียนด้วยน้ำเสียงมั่นใจ ใช้ศัพท์เฉพาะได้ถูก และมีโครงเหตุผลที่ฟังดูสมเหตุสมผลจนยากจะจับผิดหากไม่มีการเทียบกับข้อมูลจริง. ประเด็นที่น่ากังวลกว่านั้นคือ เมื่อเริ่มใช้โมเดลกับงานที่มีผลต่อการตัดสินใจ เช่น วิเคราะห์สาเหตุ drift ของข้อมูล หรือช่วยวิเคราะห์เคสคอมพลายแอนซ์ ทีมพัฒนามักไม่ตรวจว่าคำตอบถูกต้องจริงหรือไม่ แต่อิงจากความรู้สึกว่าผลลัพธ์ “โอเค” และไปปรับ prompt ต่อจนได้ข้อความที่น่าอ่านมากขึ้น. จากการสร้าง eval harness สำหรับระบบอธิบาย root cause ของ data migration พบว่า โมเดลสามารถให้คำอธิบายที่ฟังดูดีมาก แต่เมื่อเทียบกับเคสที่รู้คำตอบอยู่แล้ว กลับผิดบ่อยในระดับที่กระทบประโยชน์ของเครื่องมือ. นี่คือจุดที่ความมั่นใจของ AI กลายเป็นกับดัก ไม่ใช่หลักฐานของความแม่นยำ.
eval harness: จากการเดาเอา ไปสู่ตัวเลขที่บอกความล้มเหลวที่ซ่อนอยู่
ทางออกจากกับดัก “ฟังดูดี” คือการสร้าง evaluation harness เพื่อประเมินความแม่นยำ AI ด้วยข้อมูลที่มีคำตอบถูกต้องกำกับไว้ ไม่ใช่เพียงรีวิวด้วยสายตา. eval harness จะให้โมเดลตอบกับชุดข้อมูลที่รู้คำตอบ แล้วใช้ฟังก์ชันให้คะแนนเพื่อวัดความถูกต้องอย่างเป็นระบบเทียบกับ ground truth ซึ่งทำให้เราเห็นว่าการประเมินโมเดล machine learning ในปัจจุบันอาจกำลังพลาดรูปแบบความผิดที่สำคัญไปโดยไม่รู้ตัว. การรัน harness กับทุกเคสไม่ได้แค่ให้ค่า accuracy รวม แต่ยังเผยให้เห็น pattern ที่การเช็คด้วยคนไม่เคยจับได้ เช่น ประเภทปัญหาที่โมเดลตอบได้ดี ประเภทที่ผิดสม่ำเสมอ และชุดสัญญาณแบบไหนที่ทำให้โมเดลสร้างคำอธิบายที่มั่นใจมากแต่ผิดเต็มๆ. ผลการทดลองเหล่านี้ “ให้ข้อมูลมากกว่าการรีวิวเชิงคุณภาพทุกแบบที่เคยลอง” และนำไปสู่ข้อค้นพบสำคัญว่า ความมั่นใจที่โมเดลแสดงออกแทบไม่สัมพันธ์กับความถูกต้องของคำตอบเลย โมเดลกลับมีความมั่นใจสูงสุดในเคสที่ผิดมากที่สุด ซึ่งถ้าไม่มี eval harness วัดเทียบกับ ground truth pattern นี้จะไม่มีวันถูกมองเห็น.
เมื่อความมั่นใจของ AI ไม่เท่ากับความแม่นยำ: บทเรียนจากการทดสอบ A/B
อีกด้านหนึ่งของการประเมินโมเดล machine learning คือความพยายามใช้โมเดลแทนผู้ใช้จริงใน A/B test เพื่อลดเวลาและต้นทุน การคาดหวังคือ “รันทดลองกับโมเดลแทนผู้ใช้ ได้ผลในไม่กี่ชั่วโมง แทนที่จะรอเป็นสัปดาห์ และไม่ต้องจัดสรรทราฟฟิก”. แต่เมื่อทดสอบกับฐานข้อมูล Upworthy ซึ่งมี A/B test หลายพันชุดของประเภทการทดลองเดียวกัน พบว่า หากใช้คำทำนายดิบจาก LLM มาวิเคราะห์เหมือนเป็นข้อมูลผู้ใช้จริง โมเดลให้ค่าผลการทดลองเฉลี่ยเพียง 39% ของผลที่วัดจากมนุษย์. กล่าวอีกแบบคือ treatment ดูมีผลน้อยกว่าความเป็นจริงเกินครึ่ง และที่สำคัญคือแนวโน้มนี้ไม่ใช่แค่ความแปรปรวนสุ่ม แต่เป็น bias เชิงระบบที่ดันผลให้เข้าใกล้ศูนย์ ทำให้ทุกฟีเจอร์ดูเหมือนไม่มีมูลค่าต่อผู้ใช้มากเท่าที่ควร. ผลกระทบต่อผู้ใช้และธุรกิจจึงชัดเจน: A/B test มีไว้เพื่อเรียนรู้ว่าผู้ใช้ให้คุณค่ากับอะไร แล้วใช้ตัดสินใจเรื่องฟีเจอร์และโปรดักต์. หากองค์กรใช้การทดลองที่อิง LLM แบบนี้ในหลายส่วน โมเดลจะทำให้องค์กรประเมินค่าฟีเจอร์ต่างๆ ต่ำกว่าความจริง และอาจตัดสินใจไม่ปล่อยฟีเจอร์ที่ผู้ใช้ชอบเพราะเชื่อผลลัพธ์ที่ผิดเพี้ยน. แม้จะพยายามปรับด้วยวิธี calibration แบบเชิงเส้นด้วย OLS ก็ยังไม่ผ่านการทดสอบทางสถิติ โดยผลที่ได้เบี่ยงเบนจาก benchmark ของมนุษย์ถึง 3.8 standard errors. การใช้โมเดล machine learning ขั้นสูงอย่าง random forest และ gradient-boosted trees ช่วยให้การปรับเทียบดีขึ้น แต่ก็ยังไม่ลบข้อเท็จจริงว่าเอาต์พุตจาก LLM เป็นแค่ surrogate ที่ต้องอาศัยสมมติฐานเรื่อง surrogacy และ comparability ซึ่งไม่สามารถยืนยันสำหรับการทดลองใหม่ได้.
อนาคตของการประเมินโมเดล AI: ต้องกล้าถามมากกว่า “ดูโอเคไหม”
สิ่งที่ทั้งงานทดลองเรื่อง A/B test และระบบ eval harness ชี้ให้เห็นเหมือนกันคือ เรากำลังให้ความสำคัญกับความลื่นไหลของภาษาและความมั่นใจของ AI มากกว่าความถูกต้องจริงๆ ซึ่งอันตรายโดยตรงต่อระบบที่มีผลต่อการตัดสินใจธุรกิจ เช่น การสอบสวนปัญหาคุณภาพข้อมูล การตัดสินใจ escalate เคสคอมพลายแอนซ์ หรือการจัดการ alert ในทีมปฏิบัติการ. สำหรับเครื่องมือเหล่านี้ “ความถูกต้อง” คือเกณฑ์ที่สำคัญ ไม่ใช่ความรู้สึกว่าคำตอบดูสมเหตุสมผล. ดังนั้น คำถามที่ทุกทีมต้องตอบให้ชัดก่อน deploy คือ “เราได้วัดความแม่นยำเทียบกับเคสที่รู้คำตอบแน่ชัดแล้วหรือยัง หรือแค่ตรวจว่าผลลัพธ์ดูดี”. การพัฒนา LLM ที่เก่งขึ้น การปรับ prompt หรือการ fine-tune อาจทำให้สมมติฐาน surrogacy และ comparability ใกล้เคียงความจริงขึ้น แต่ถึงอย่างไรเรายังต้องทำการทดลองกับผู้ใช้จริงเพื่อปรับเทียบเอาต์พุตของ LLM และตรวจว่า mapping ระหว่างคำทำนายของโมเดลกับพฤติกรรมผู้ใช้ยังใช้ได้อยู่หรือไม่. "การทดลองกับมนุษย์จึงยังเป็นสิ่งที่ขาดไม่ได้สำหรับนวัตกรรมโปรดักต์อย่างแท้จริง" เพราะเมื่อเราปล่อยให้โมเดลที่มั่นใจแต่ไม่แม่นยำเข้ามาเป็นส่วนหนึ่งของการตัดสินใจ ความล้มเหลวจะเกิดขึ้นแบบเงียบๆ และมักถูกค้นพบช้าเกินไป.
