คะแนน 66 คือเหนือกลางตาราง ไม่ใช่ผู้ชนะ
Gemini Decision 1 คือโมเดล AI สำหรับประเมินคำถามที่มีรูปแบบกำหนดไว้และคืนคำตอบเป็นค่าความน่าจะเป็น แทนการสร้างประโยค โดยรับอินพุตร่วมหนึ่งชุดและตอบหลายคำถามได้ในการประมวลผลครั้งเดียว โมเดลนี้ได้ 66 คะแนน Decision Index v2.1 และอยู่อันดับเก้าจาก 18 โมเดล สูงกว่าค่ามัธยฐาน 64 เพียงเล็กน้อย จึงเป็นผลงานระดับกลางที่น่าสนใจ แต่ไม่ใช่หลักฐานว่าชนะตลาด
การอ่านคะแนนให้คุ้มต้องดูวิธีคำนวณด้วย คะแนน Decision Index ไม่ใช่เปอร์เซ็นต์ความแม่นยำตรง ๆ แต่เป็นค่าเฉลี่ยถ่วงน้ำหนักจากการประเมินหกรายการ โดยแต่ละรายการคิดความแม่นยำหักคะแนน Brier ซึ่งสะท้อนว่าความน่าจะเป็นที่โมเดลให้สอดคล้องกับผลจริงเพียงใด เบนช์มาร์ก AI นี้จึงให้ความสำคัญทั้งคำตอบและการสอบเทียบความมั่นใจ การเห็นอันดับเก้าแล้วสรุปว่าโมเดลไม่เก่งจึงง่ายเกินไป แต่การยกคะแนนองค์ประกอบที่เด่นมาแทนคะแนนรวมก็ชวนให้เข้าใจเกินจริงเช่นกัน

เหนือ Microsoft อยู่สี่คะแนน แต่ภาพรวมมีรายละเอียด
เมื่อเทียบกับ Microsoft-Decision-1 คะแนนคอมโพสิตของ Gemini อยู่ที่ 65.98 เทียบกับ 62.07 หรือราว 66 ต่อ 62 และอันดับเก้ากับสิบตามลำดับ ส่วนต่างนี้ทำให้ Gemini นำอยู่ แต่ยังไม่ใช่ช่องว่างที่ควรใช้ฟันธงความคุ้มค่าโดยไม่ดูงานจริง
องค์ประกอบที่เปิดเผยช่วยอธิบายความได้เปรียบ: ใน AA-Paperclip ซึ่งมีน้ำหนัก 30% Gemini ได้ 56.8 เทียบกับ 51.8 ส่วน HLE-MultiChoice v1.1 ซึ่งมีน้ำหนัก 15% ได้ 48.7 เทียบกับ 39.4 ถึงอย่างนั้น คะแนนรวมไม่ได้เกิดจากองค์ประกอบเหล่านี้เพียงอย่างเดียว และน้ำหนักของแต่ละการประเมินต่างกัน ดังนั้นการนำคะแนนย่อยที่ Gemini นำมาเล่าแทนผลรวมย่อมทำให้ภาพเอนเอียง สำหรับผู้ใช้ทั่วไป คำถามสำคัญกว่าคือข้อมูลที่ต้องจัดประเภทคล้ายชุดทดสอบแค่ไหน และความได้เปรียบเล็กน้อยคุ้มกับขั้นตอนจัดซื้อและการเชื่อมต่อหรือไม่
Drex ได้ 77.3 แต่คะแนนคนละสนาม
ตัวเลข 77.3 ของ Drex for Finance ดูเหนือกว่า 66 ของ Gemini Decision 1 มาก แต่การลบคะแนนเพื่อประกาศผู้ชนะไม่มีความหมาย เพราะ Drex ได้คะแนนจากดัชนีการเงินของ Nace ซึ่งใช้ชุดทดสอบการเงิน 48 ชุด ขณะที่ Gemini วัดบน Decision Index ของ Artificial Analysis และ Drex for Finance ไม่ปรากฏบนกระดานนั้น สองคะแนนจึงมาจากเครื่องมือและกลุ่มงานคนละแบบ ไม่ใช่การแข่งแบบวัดบนสนามเดียวกัน
ต้นทุนโทเคน AI ก็ต้องอ่านควบคู่กับความเหมาะสมของงาน แหล่งข้อมูลระบุว่า Drex for Finance มีราคาต่ออินพุตหนึ่งล้านโทเคนต่ำกว่า Gemini ซึ่งเป็นโมเดลทั่วไปที่รับข้อมูลหลายรูปแบบ แต่ไม่มีผลทดสอบร่วมที่ยืนยันว่าความต่างของคะแนนสะท้อนความคุ้มค่าโดยตรง ข้อสรุปที่มีวินัยคือ Drex น่าสนใจสำหรับงานเอกสารการเงินเฉพาะทาง ส่วน Gemini มีหลักฐานเบนช์มาร์กทั่วไปให้ดูมากกว่า แต่ยังสรุปไม่ได้ว่าตัวใดคุ้มกว่าสำหรับทุกองค์กร

ความคุ้มค่าขึ้นกับงานและทางจัดซื้อ
คะแนนไม่ใช่ต้นทุนทั้งหมดสำหรับผู้ใช้จริง Gemini เปิดผ่านคีย์ API ของผู้ให้บริการ ขณะที่องค์กรที่ซื้อผ่านข้อผูกมัด Azure อาจจัดการ Microsoft-Decision-1 ผ่านช่องทางงบประมาณเดิมได้ ส่วนการซื้อ Gemini ผ่านระบบคลาวด์ยังต้องรอรายการ Vertex AI ตามข้อมูลที่มี ระดับใช้ฟรียังมีเงื่อนไขการใช้ข้อมูลเพื่อปรับปรุงผลิตภัณฑ์ จึงไม่เหมาะกับข้อมูลอ่อนไหว และการไม่มี Batch API หรือการแคชบริบทอาจทำให้การประมวลผลปริมาณมากหรือการส่งเอกสารเดิมซ้ำมีข้อจำกัดด้านต้นทุน
สิ่งที่ควรเกิดขึ้นต่อไปไม่ใช่การถกเถียงจากอันดับอย่างเดียว แต่เป็นการทดสอบกับข้อมูลขององค์กรโดยใช้เกณฑ์เดียวกัน เช่น เอกสารการเงินจริงที่ทราบคำตอบแล้ว ให้ทั้งโมเดลประเมินชุดเดียวกันและตรวจทั้งความถูกต้องกับการสอบเทียบความมั่นใจ ตารางเกณฑ์มาตรฐานของ Microsoft ที่แสดงเส้นโค้งการสอบเทียบ และการมี Gemini บน Vertex AI จะช่วยให้เทียบหลักฐานและจัดซื้อได้ตรงขึ้น
ข้อสรุปคือ Gemini Decision 1 เป็นตัวเลือกที่ทำผลงานเหนือค่ากลางและนำ Microsoft-Decision-1 เล็กน้อย แต่คะแนน 66 ไม่ได้ทำให้เป็นผู้นำ และคะแนน 77.3 ของ Drex ก็ยังเทียบตรงไม่ได้ หากงานของคุณทั่วไป Gemini มีเหตุผลให้ทดลอง หากเน้นการเงิน Drex ควรถูกทดสอบกับเอกสารจริงก่อนตัดสินใจ ส่วนความคุ้มค่าที่แท้จริงต้องตัดสินจากผลลัพธ์และต้นทุนของงานเดียวกัน ไม่ใช่ตัวเลขจากคนละเบนช์มาร์ก







