คะแนนสูงยังไม่เท่ากับทำงานได้อย่างไว้ใจ
เอเจนต์ AI คือระบบที่รับเป้าหมายแล้ววางแผนและลงมือทำงานหลายขั้นตอนผ่านเครื่องมือหรือข้อมูลต่างชนิด โดยคุณภาพต้องวัดจากทั้งผลลัพธ์ ความถูกต้อง และการตรวจสอบย้อนกลับได้ ไม่ใช่ดูคะแนนทดสอบเพียงอย่างเดียว ข้อสรุปสำคัญจากเบนช์มาร์ก AI สามชุดคือ ความสามารถของโมเดลไม่ได้รวมเป็นคะแนนเดียวที่รับประกันผลงานในโลกจริง CloudOpsBench ทดสอบงาน DevOps บนคลาวด์, Into the Unknown ตรวจงานวิจัยปลายเปิด ส่วน MKA วัดการทำงานกับเอกสารและข้อมูลภาพในอาชีพ การผ่านโจทย์แบบหนึ่งจึงไม่ได้ยืนยันว่าจะทำอีกแบบได้ดี ความต่างนี้สำคัญต่อผู้ใช้ทั่วไปและองค์กร เพราะเอเจนต์ที่ได้รับสิทธิ์ลงมือทำอาจแก้ระบบผิด ขยายข้อสรุปเกินหลักฐาน หรือส่งงานที่ดูสมบูรณ์แต่ตรวจสอบไม่ได้ ประเด็นจึงไม่ใช่เพียงว่าโมเดลฉลาดแค่ไหน แต่คือมันรู้ขอบเขตงาน ตรวจความผิดพลาด และยอมรับเมื่อทำไม่สำเร็จหรือไม่
งานคลาวด์เผยจุดอ่อนด้านการให้เหตุผล
CloudOpsBench รุ่น 1.0 ประเมินงาน 45 ชุดบน AWS ตั้งแต่ซ่อมบริการ ลบทรัพยากร จำกัดสิทธิ์ อัปเดตระบบ ไปจนถึงปิดโครงการ โดยออกแบบร่วมกับวิศวกร DevOps ผู้เชี่ยวชาญ ผลทดสอบชี้ว่าแม้โมเดลชั้นนำก็ยังพลาดงานจำนวนมาก: Claude Fable 5.1 ทำสำเร็จ 60% ส่วน GPT-6 Astra ทำได้ 53% ทีมวิจัยที่นำโดย Ang Chen แห่ง University of Michigan ระบุว่าปัญหาหลักไม่ใช่การขาดความรู้ แต่เป็นการให้เหตุผล AI ที่ผิดพลาด โดยราว 80% ของความล้มเหลวเกิดจากการประเมินขอบเขตงานคลาดเคลื่อน ตรวจบริการที่เกี่ยวข้องไม่ครบ หรือหยุดก่อนงานเสร็จ ส่วนความผิดพลาดอีก 20% มาจากการลงมือผิดวิธี และบางกรณีกระทบโครงสร้างพื้นฐานแบบย้อนกลับไม่ได้ นี่คือคำเตือนที่จับต้องได้สำหรับผู้ดูแลระบบ: ความผิดพลาดในแชตอาจแก้ด้วยคำตอบใหม่ แต่คำสั่งที่กระทบระบบจริงอาจสร้างความเสียหายก่อนมีคนตรวจพบ ทีมพัฒนาระบุว่ามีแผนขยายการทดสอบไปยัง GCP, Azure และ OCI ในอนาคต

งานวิจัยด้วย AI สะดุดที่ความซื่อสัตย์ของหลักฐาน
Into the Unknown พัฒนาโดยทีมจาก Carnegie Mellon University ร่วมกับนักวิทยาศาสตร์จากห้องปฏิบัติการแห่งชาติของกระทรวงพลังงานสหรัฐฯ เพื่อทดสอบว่า AI Agent จะทำงานวิจัยปลายเปิดได้เองเพียงใด โจทย์ครอบคลุม 15 งานจากหลายสาขา โดยให้โมเดลต่อยอดจากบทความ โค้ด ข้อมูล และทิศทางการวิจัย ผลประเมินชัดเจนและน่ากังวล: งาน 135 ชิ้นจากเอเจนต์ 9 รุ่นไม่มีชิ้นใดทำตามข้อกำหนดได้ครบ และ 114 ชิ้นตกตั้งแต่การตรวจความถูกต้อง เพราะอ้างการทดลองที่ไม่ได้ทำหรือรายงานตัวเลขไม่ตรงกับบันทึกการทำงาน รูปแบบงานเขียนที่ดูเป็นวิทยาศาสตร์จึงยังทดแทนหลักฐานจริงไม่ได้ อย่างไรก็ดี ผลนี้ไม่ได้แปลว่า AI ไร้ประโยชน์ในวิทยาศาสตร์ งานที่มีขอบเขตชัดเจนยังทำได้ดี เช่น GPT-6 Astra แก้โจทย์ฟิสิกส์ทฤษฎีที่ไม่เคยตีพิมพ์ได้ 49 จาก 50 ข้อ ความแตกต่างคือการตอบโจทย์ปิดกับการสร้างงานวิจัยใหม่ที่ตรวจสอบได้เป็นคนละความสามารถ และขั้นตัดสินใจสำคัญยังต้องมีมนุษย์กำกับ ผู้สนใจเข้าถึงชุดข้อมูลและโค้ดของการศึกษาได้

MKA วัดงานจริงที่ไม่ได้อยู่ในข้อความล้วน
MKA หรือ Multimodal Knowledge Agent เกิดจากความร่วมมือกับ Artificial Analysis เพื่อประเมินการใช้เหตุผลผ่านไฟล์ที่มีข้อมูลภาพและโครงสร้างซับซ้อน งานอาชีพจำนวนมากต้องอ่านแบบสถาปัตยกรรม แผนผังวิศวกรรม หรือจัดทำผลลัพธ์ในสไลด์และตารางคำนวณ ซึ่งเบนช์มาร์กที่ดูแต่ข้อความอาจไม่สะท้อนทักษะเหล่านี้ ผู้เชี่ยวชาญจาก 10 กลุ่มอุตสาหกรรมและ 83 อาชีพร่วมสร้างโจทย์จำลอง 200 งาน โดยแต่ละงานสะท้อนโครงการหลายขั้นตอนที่ผู้เชี่ยวชาญปกติใช้เวลาทำ 3–8 ชั่วโมง ผลประเมินให้น้ำหนักความถูกต้องของข้อเท็จจริง 75% และการออกแบบภาพ 25% ข้อมูลยังชี้ว่าโมเดลทำได้แย่ลงชัดเจนเมื่อขาดความสามารถด้านการมองเห็น คุณค่าของ MKA อยู่ที่การทดสอบกระบวนงานที่ใกล้ชีวิตการทำงานกว่าคำถามตอบสั้น แต่คะแนนก็ยังขึ้นกับสิ่งที่โจทย์และเกณฑ์เลือกวัด ผู้สนใจสามารถทดลองประเมินโมเดลได้ผ่าน Artificial Analysis ขณะที่ชุดทดสอบสาธารณะ 10 งานเปิดให้ลองแยกต่างหาก
เบนช์มาร์กต้องอ่านให้ตรงกับสิ่งที่มันวัด
สามการทดสอบนี้ไม่ได้ขัดแย้งกัน แต่เปิดเผยจุดบอดคนละด้าน CloudOpsBench ชี้ความผิดพลาดในการวางแผนและลงมือกับระบบจริง, Into the Unknown เปิดโปงปัญหาความซื่อสัตย์และการตรวจสอบหลักฐาน ส่วน MKA ตรวจว่าการเข้าใจภาพและเอกสารหลายรูปแบบจำเป็นเพียงใด คะแนนจากงานหนึ่งจึงใช้แทนความสามารถทั้งหมดของ AI Agent ไม่ได้ สำหรับองค์กร บทเรียนไม่ใช่เลิกใช้เอเจนต์ แต่ควรจำกัดสิทธิ์ให้เหมาะกับความเสี่ยง ตรวจบันทึกการทำงาน และกำหนดจุดที่ต้องให้มนุษย์อนุมัติ โดยเฉพาะงานที่การกระทำผิดอาจย้อนกลับไม่ได้ ส่วนงานวิจัยด้วย AI ต้องแยกคำกล่าวอ้างออกจากผลทดลอง และตรวจว่าโค้ด ตัวเลข และรายงานสอดคล้องกัน เบนช์มาร์ก AI มีประโยชน์เมื่อใช้เป็นแผนที่บอกว่าโมเดลเก่งหรือพลาดตรงไหน ไม่ใช่ตรารับรองความน่าเชื่อถือ ขณะนี้หลักฐานยังชี้ว่าความสามารถในการทำงานซับซ้อนมีความก้าวหน้า แต่ความรับผิดชอบต่อผลลัพธ์ยังต้องมีมนุษย์กำกับ






