อันดับโมเดล AI หลอกตา เมื่อ benchmark ไม่ตรงกับงานจริง

ภาพลวงตาของลีดเดอร์บอร์ด: เมื่อคะแนนสูงไม่แปลว่าทำงานได้

ช่องว่างระหว่างคะแนน AI โมเดล benchmark บนลีดเดอร์บอร์ดกับความสามารถของ AI agent งานจริง คือปัญหาสำคัญที่ทำให้องค์กรประเมินพลังของโมเดลผิดไปอย่างเป็นระบบ เพราะคะแนนบนชุดทดสอบสังเคราะห์มักสะท้อนสภาพแวดล้อมการทดลองที่ถูกควบคุม มากกว่าความทนทานต่อเครื่องมือจริง กระบวนงานหลายขั้นตอน และข้อผิดพลาดในโลกการใช้งานจริงที่ไม่มีใครจัดฉากให้เรียบร้อยล่วงหน้า การเข้าใจช่องว่างนี้จึงเป็นเงื่อนไขพื้นฐานในการตัดสินใจเลือกและออกแบบระบบ AI ให้ตอบโจทย์ธุรกิจได้จริง ไม่ใช่แค่ชนะเกมคะแนนตัวเลขบนกระดานจัดอันดับ. กรณีของ DeepSeek V4 Flash แสดงให้เห็นชัดเจน โมเดลขนาด 284 พันล้านพารามิเตอร์นี้ถูกยกย่องว่าเป็น “สัตว์ประหลาด” ด้านประสิทธิภาพและครองอันดับการใช้งานบนแพลตฟอร์มยอดนิยมด้วยปริมาณโทเคนรายสัปดาห์สูงสุด แต่เมื่อถูกส่งไปทดสอบในสถานการณ์ใกล้เคียงงานองค์กรจริง กลับทำสำเร็จเพียง 53.8% ของชุดงานตัวแทนที่ซับซ้อนจำนวนมาก ช่องว่างนี้ไม่ใช่แค่ตัวเลขผิดพลาด แต่คือคำเตือนว่าการจ้องแต่คะแนน benchmark โดยไม่ดูสถาปัตยกรรมระบบรอบโมเดลกำลังพาเราเดินหลงทาง.

เมื่อบั๊กใน harness ปั้นนิสัยปลอมให้โมเดล: ความแม่นยำ AI ทดสอบที่หายไป

จุดอ่อนใหญ่ของการประเมิน AI โมเดล benchmark คือเรามักคิดว่ากำลังวัด “สมอง” ของโมเดล ทั้งที่จริงแล้วสิ่งที่ถูกวัดคือทั้งสมองและ “ร่างกาย” หรือ harness ที่พันรอบโมเดลไปพร้อมกัน ผู้เขียนหนึ่งรายทดลองเกม Liar’s Dice แล้วเกือบจะตีความว่า DeepSeek V4-Pro มีบุคลิกกล้าเสี่ยง ชอบออกตัวแทงโดยไม่ดูข้อมูล เพราะดูจากชุดทดสอบแรก โมเดลทำ blind bid ถึงเกือบ 40% ของครั้งที่ลงเดิมพัน. แต่เมื่อขุดดูบริบท เขาพบว่าระบบกำลังแอบใส่ค่าความน่าจะเป็นแบบคร่าว ๆ เข้าไปในพรอมต์ แม้โมเดลจะไม่ได้เรียกใช้เครื่องมือคำนวณ และยังจัดลำดับตัวเลือกให้ตามโอกาสชนะด้วย โมเดลจึงไม่ได้ “บิดแบบตาบอด” แต่มองเห็นใบ้ข้อมูลจากบั๊กของ harness พอแก้ช่องโหว่แล้ว อัตรา blind bid ของ V4-Pro ร่วงจากประมาณ 40% เหลือเพียง 6% ทันที ครึ่งหนึ่งของความแตกต่างโดดเด่นระหว่างโมเดลในชุดแมตช์กว่า 60 เกมแรกหายไปหลังแก้บั๊กหลายจุด. กรณีนี้ตอกย้ำว่า ความแม่นยำ AI ทดสอบไม่ใช่แค่เรื่องชุดข้อมูลหรือคะแนน แต่คือการกล้าตรวจสอบว่าระบบประเมินกำลังคิดแทนโมเดลในส่วนที่เราไม่เห็นหรือไม่ หากไม่ระวัง เราอาจกำลังตีความบั๊กซอฟต์แวร์เป็นบุคลิกหรือความฉลาดของโมเดลไปเรียบร้อยแล้ว.

DeepSeek V4 Flash กับการทดสอบงานจริง: โมเดลเก่ง ไม่พอถ้า orchestration ห่วย

การทดสอบ DeepSeek V4 Flash บนงานเอเยนต์จริงเผยให้เห็นว่าคุณภาพผลลัพธ์ขึ้นกับตัวโมเดลไม่ถึงครึ่ง ส่วนที่เหลือคือ orchestration ของ harness และสแตกเครื่องมือทั้งหมด Composio ส่ง Flash ผ่าน harness ต่างกันถึง 8 แบบ ทั้ง Claude Code, Codex, OpenCode และอื่น ๆ บนงานหลายขั้นตอนที่ออกแบบให้ยากเป็นพิเศษจำนวน 30 งาน ครอบคลุมเครื่องมือจริงตั้งแต่ Gmail, GitHub, Slack ไปจนถึง Google Sheets. จากการรันทดสอบทั้งหมด 240 ครั้งผ่านเวิร์กโฟลว์เหล่านี้ มีงานสำเร็จเพียง 129 ครั้ง หรือประมาณ 53.8% เท่านั้น ที่น่าขบคิดกว่านั้นคือ มีแค่ 6 จาก 30 เวิร์กโฟลว์ที่ทุก harness ทำสำเร็จทั้งหมด ทั้งที่ใช้โมเดลตัวเดียวกัน เปลี่ยนแค่การจัดการพรอมต์ การเชื่อมต่อเครื่องมือ การแคช การ retry และโครงสร้างผู้ให้บริการ โมเดลจึงกลายเป็นเพียงชิ้นส่วนหนึ่งของระบบเอเยนต์ ไม่ใช่พระเอกคนเดียวบนเวที. ในขณะที่ DeepSeek ปรับกลยุทธ์ราคาและโครงสร้างการคิดค่าบริการ V4 Flash และ Pro เพื่อผลักดันให้ผู้ใช้ย้ายงานแบบ batch ที่รอได้ไปช่วงนอกเวลาพีค และให้ตัวเอเยนต์ interactive ใช้ช่วงเวลาปกติ องค์กรจึงต้องมองเกินกว่าแท็ก “โมเดลถูกแต่แรง” ไปพิจารณาว่าใครออกแบบ harness ได้ฉลาด ปลอดภัย และสอดคล้องกับเวิร์กโฟลว์ที่ซับซ้อนของตนมากกว่า.

NVIDIA AVO: หลักฐานว่ากายภาพระบบสำคัญไม่แพ้สมองโมเดล

ด้านตรงข้ามของภาพลวงตา benchmark คือกรณีโมเดลเดิม แต่ได้ “ร่างกาย” ใหม่แล้วประสิทธิภาพกระโดดแบบหน้ามือเป็นหลังมือ NVIDIA สร้างเอเยนต์เขียนโค้ดชื่อ AVO เพื่อปรับแต่งเคอร์เนล CUDA ให้ทำงานบน GPU ได้มีประสิทธิภาพสูงสุด เอเยนต์นี้สามารถทำงานอัตโนมัติ 7 วันเต็ม ทดลองแนวทางกว่า 500 แบบ และสร้างเคอร์เนลที่ทำได้ดีกว่า FlashAttention-4 สูงสุดถึง 10.5% ในงานปรับแต่งเดิม. เมื่อถูกส่งไปลงสนาม ARC-AGI-3 AVO ซึ่งเป็น wrapper รอบโมเดล Anthropic Claude Opus 5 ทำคะแนนได้ 100% บนชุดเกมสาธารณะ 25 เกม รวมทั้งหมด 183 เลเวล โดยไม่รับกติกาหรือเป้าหมายล่วงหน้าเลยแม้แต่น้อย ขณะที่ตัว Opus 5 เดิมทำคะแนนได้เพียง 30% บนชุดเดียวกัน. ตามคำอธิบายของ NVIDIA “AVO แสดงให้เห็นมูลค่าเพิ่มอันมหาศาลที่ harness ที่ออกแบบดีสามารถมอบให้ระบบได้” เมื่อดูจำนวนการกระทำรวม AVO ใช้ 6,624 actions เพื่อเคลียร์ทุกเลเวล เทียบกับเอเยนต์ wrapper ชั้นนำรายอื่นอย่าง VISTA ที่ใช้ 7,542 actions ในงานเดียวกัน ทำให้ AVO มีประสิทธิภาพเพิ่มขึ้นราว 12% ในเชิงการใช้ขั้นตอน. แม้แพลตฟอร์ม ARC-AGI-3 จะยังไม่เปิดให้ harness ภายนอกไปทดสอบกับชุดข้อมูลลับส่วน private แต่ผลบนชุดสาธารณะก็ชัดพอแล้วว่า สถาปัตยกรรมเอเยนต์ที่จัดการหน่วยความจำระยะยาว วงจร self-correcting และโครงสร้างพรอมต์ มีน้ำหนักไม่แพ้ความสามารถพื้นฐานของโมเดลเอง.

บทสรุป: หยุดบูชาคะแนน benchmark แล้วหันมาวัดระบบที่ทำงานได้จริง

สิ่งที่เชื่อมกรณี DeepSeek V4 Flash กับ NVIDIA AVO และบทเรียนบั๊กในเกม Liar’s Dice เข้าด้วยกันคือข้อเท็จจริงเดียวกัน: ช่องว่างระหว่าง benchmark สังเคราะห์กับงานจริงกำลังบอกเราว่าวิธีประเมิน AI แบบเดิมใช้ไม่ได้อีกต่อไป โมเดลที่ครองลีดเดอร์บอร์ดอาจทำงานเอเยนต์สำเร็จเพียงครึ่งเดียวในสภาพแวดล้อมองค์กร และโมเดลที่ได้คะแนนกลาง ๆ บนชุดทดสอบอาจทะยานเป็นเอเยนต์อัตโนมัติระดับยอด เมื่อถูกหุ้มด้วย harness ที่คิดมาอย่างดี. เสียงสะท้อนจากนักวิเคราะห์คนหนึ่งสรุปชัดว่า “ผู้ขายกำลังบอกตลาดอย่างตรงไปตรงมาว่า คะแนน benchmark ไม่ใช่ตัวแทนของความพร้อมใช้งานในโปรดักชัน โมเดลอาจทำคะแนนได้สวยงาม แต่กลับมีพฤติกรรมผิดเพี้ยนทันทีที่เริ่มจับเครื่องมือ สิทธิ์เข้าระบบ และ state จริง” องค์กรที่ยังเลือกโมเดลจากตารางจัดอันดับอย่างเดียวจึงเสี่ยงที่จะซื้อความคาดหวัง มากกว่าซื้อความสามารถ. คำตอบที่จริงจังกว่า คือการประเมินทั้งระบบ: โมเดล พรอมต์ harness เครื่องมือ เวิร์กโฟลว์ และข้อจำกัดปฏิบัติการขององค์กรเอง พร้อมตรวจสอบบั๊กที่อาจปลอมแปลงบุคลิกและความฉลาดของโมเดล การลงทุนกับ AI agent งานจริงในวันนี้ควรเริ่มต้นจากคำถามว่า “ระบบนี้ทำงานให้ฉันได้อย่างน่าเชื่อถือแค่ไหน” มากกว่า “โมเดลนี้ได้คะแนน benchmark สูงแค่ไหน”.