คะแนนทดสอบตอบได้ว่าใครเหมาะกับงานแบบไหน
โมเดล Liquid AI ตระกูล LFM3 คือกลุ่มโมเดล AI ขนาดเล็กที่แยกจากแบ็กโบนเดียวกัน แล้วปรับแต่งให้เหมาะกับงานข้อความ ภาพ เสียง การทำงานแบบผสม และการตัดสินใจ แทนการมีโมเดลเดียวที่พยายามเก่งทุกด้าน ถ้าต้องเลือกจากผลทดสอบ LFM3 โดยรวม LFM3-1.7B น่าสนใจสำหรับงานเอเจนต์ เรียกใช้เครื่องมือ และบริบทเอกสารยาว ส่วน LFM3-VL-2B เหมาะกับภาพและวิดีโอเมื่อเปิดโหมดให้เหตุผล แต่ไม่ควรอ่านจำนวนแถวที่ชนะเป็นคำตอบเด็ดขาด เพราะผลขึ้นกับประเภทงาน การตั้งค่า และวิธีทดสอบ ตระกูลนี้มีหกรุ่นระดับ 2B ที่ใช้แบ็กโบนเดียวกัน แต่ข้อมูลบริบท 256K ระบุชัดสำหรับโมเดลข้อความและโมเดลฐานเท่านั้น ส่วนอีกสี่รุ่นไม่มีการเปิดเผยหน้าต่างบริบทในข้อมูลที่ให้มา
จุดแข็งของ LFM3-1.7B คือขนาดหน่วยความจำและงานหลายขั้นตอน เมื่อเทียบกับ MiniCPM5-2B ที่ Liquid นำมาวัดด้วยฮาร์เนสของตนเอง มันชนะ 23 จาก 27 แถว ขณะที่ MiniCPM5 ชนะ 4 แถว ตัวเลขนี้ชี้ทิศทางได้ แต่ยังไม่ใช่ผลทดสอบอิสระที่ยืนยันว่า LFM3 ชนะทุกงาน การเลือกจึงควรเริ่มจากงานจริงของคุณ ไม่ใช่เริ่มจากยอดรวม
LFM3-1.7B กับ MiniCPM5-2B: ได้เปรียบคนละด้าน
ตารางนี้ช่วยอธิบายว่าทำไม LFM3-1.7B จึงน่าสนใจบนอุปกรณ์ที่มีหน่วยความจำจำกัด แม้พารามิเตอร์จะน้อยกว่า MiniCPM5-2B แต่ยังรองรับบริบทที่ยาวกว่าและใช้ KV cache น้อยกว่าตามการวัดของ Liquid ส่วน MiniCPM5-2B มีข้อได้เปรียบด้านใบอนุญาตที่ชัดเจนกว่า และชนะบางงานด้านความรู้กับการให้เหตุผลแบบรอบเดียว
| ข้อมูลเปรียบเทียบ | LFM3-1.7B | MiniCPM5-2B |
|---|---|---|
| พารามิเตอร์ | 1.73B แบบ dense | รวม 2.52B หรือ 1.98B ไม่นับ embedding |
| สถาปัตยกรรม | 24 ชั้นแบบผสม: คอนโวลูชัน 13 ชั้น สไลดิงวินโดว์ 5 ชั้น และโกลบอลแอตเทนชัน 6 ชั้น | ทรานส์ฟอร์เมอร์ 42 ชั้น ใช้ grouped-query attention มี query heads 16 ชุดและ KV heads 2 ชุด |
| บริบทสูงสุด | 256K | 131,072 โทเค็น |
| KV cache ที่บริบท 128K | 1.6 GB | 5.6 GB ตามการวัดของ Liquid |
| หน่วยความจำที่ 4-bit | ประมาณ 1 GB | ประมาณ 1.1 GB ตามรายงานการใช้งานจริง |
| ขนาดคำศัพท์ | 128K โทเค็น | 130,560 โทเค็น |
| ใบอนุญาต | LFM Open License v1.0 ใช้เชิงพาณิชย์โดยไม่เสียค่าลิขสิทธิ์ได้เมื่อรายได้ต่อปีต่ำกว่าเกณฑ์ที่กำหนด; กรณีเกินเกณฑ์ต้องทำข้อตกลงแยกต่างหาก | Apache 2.0 ไม่มีเกณฑ์รายได้ |
LFM3-1.7B นำห่างในงานเว็บแบบเอเจนต์และระบบอัตโนมัติ โดยได้ 38.42 เทียบกับ 9.11 ใน WebArena-Verified และ 41.29 เทียบกับ 4.71 ใน AutomationBench อีกทั้งได้ 65.56 ต่อ 37.96 ใน RULER 128K และ 71.39 ต่อ 62.65 ใน BFCL V4 ฝั่ง MiniCPM5-2B ชนะ τ³-bench, GPQA Diamond, HLE และ AA-Omniscience แต่หลายคู่มีช่องว่างเพียงหนึ่งถึงสองคะแนน ซึ่งอาจอยู่ในระดับความแปรปรวนของการประเมิน
ข้อแลกเปลี่ยนสำคัญคือความแน่นอนของการเทียบคะแนน MiniCPM5 ใช้ Apache 2.0 ซึ่งเงื่อนไขตรงไปตรงมา ส่วน LFM Open License มีข้อกำหนดตามรายได้ ขณะเดียวกันตัวเลขของ Liquid มาจากฮาร์เนสที่บริษัทจัดทำเอง และยังไม่มีการทำซ้ำโดยอิสระในข้อมูลที่อ้างถึง จึงควรให้น้ำหนักกับผลบนงานของตัวเองมากกว่าคะแนนที่ผู้พัฒนาเลือกนำเสนอ
LFM3-VL-2B ชนะชัดเมื่อเปิดโหมดคิด แต่ผลเปลี่ยนเมื่อปิด
สำหรับงาน AI multimodal ที่เน้นภาพ LFM3-VL-2B ให้ผลน่าสนใจเมื่อเปิดการให้เหตุผล โดยชนะ LFM2.5-VL-3B ใน 60 จาก 62 การทดสอบที่ใช้ร่วมกัน แต่เมื่อปิดโหมดนี้ ชนะเพียง 39 รายการและแพ้ 23 รายการ นี่ไม่ใช่ความต่างเล็กน้อยจากการตั้งค่า: คะแนนเฉลี่ยของ LFM3-VL-2B เปลี่ยนจาก 71.4 ในโหมดคิดเป็น 62.1 ในโหมดไม่คิด ขณะที่ LFM2.5-VL-3B ไม่มีโหมดให้เหตุผลให้เปิดเทียบกัน
ดังนั้น LFM3-VL-2B เหมาะกับผู้ที่ยอมเปิดโหมดคิดเพื่อวิเคราะห์ภาพหรือวิดีโอ และต้องการโมเดลขนาดเล็กกว่า LFM2.5-VL-3B แต่หากระบบปลายทางจะปิดการให้เหตุผล คะแนนพาดหัว 71.4 ไม่ใช่ตัวแทนประสิทธิภาพที่ควรคาดหวัง ส่วน LFM2.5-VL-3B ยังเป็นตัวเลือกที่สมเหตุสมผลเมื่อการใช้งานจำกัดอยู่ที่ข้อความกับภาพและไม่ต้องการเส้นทางวิดีโอ
การเปรียบเทียบสองรุ่นนี้มีความสอดคล้องภายในมากกว่าการเทียบข้ามผู้พัฒนา เพราะใช้ชุดทดสอบเดียวกันและประเมินด้วยวิธีของ Liquid เดียวกัน แต่คะแนนทั้งหมดก็ยังเป็นตัวเลขที่ผู้พัฒนาเผยแพร่ ไม่ใช่ผลตรวจสอบอิสระ จุดตัดสินใจจึงอยู่ที่การทดสอบด้วยโหมดเดียวกับที่จะใช้จริง และตรวจว่างานของคุณเน้นการรับภาพ วิดีโอ หรือการให้เหตุผลมากกว่ากัน
เลือกจากงานและวิธีใช้งาน ไม่ใช่จำนวนแถวที่ชนะ
LFM3-1.7B มีเหตุผลให้เลือกเมื่อคุณต้องการบริบท 256K ใช้เครื่องมือหลายขั้นตอน หรือประหยัดหน่วยความจำ ส่วน MiniCPM5-2B เหมาะกว่าเมื่อใบอนุญาต Apache 2.0 สำคัญ หรือโจทย์หลักเป็นการดึงคืนความรู้และการให้เหตุผลแบบรอบเดียว สำหรับงานภาพ การเลือก LFM3-VL-2B ควรผูกกับการเปิดโหมดคิด ไม่ใช่ยึดคะแนนเฉลี่ยสูงสุดโดยไม่ดูการตั้งค่าจริง
ภาพรวมตระกูล LFM3 มีรุ่นข้อความ วิชัน เสียง และ Omni รวมถึงรุ่นสำหรับการตัดสินใจ แต่การมีแบ็กโบนร่วมกันไม่ได้แปลว่าทุกรุ่นมีขีดจำกัดหรือหน้าต่างบริบทเหมือนกัน ข้อมูล 256K ที่เผยแพร่ระบุสำหรับโมเดลข้อความและโมเดลฐาน จึงควรตรวจเอกสารของรุ่นเฉพาะก่อนนำไปใช้งาน นี่คือเหตุผลที่ผลทดสอบควรเป็นจุดเริ่มต้นของการคัดเลือก แล้วตามด้วยการทดลองบนฮาร์ดแวร์และชุดงานจริงของคุณ
- Buy the LFM3-1.7B if งานของคุณต้องเรียกใช้เครื่องมือ ทำงานหลายขั้นตอน หรืออ่านเอกสารยาว และต้องการใช้หน่วยความจำน้อย
- Skip the LFM3-1.7B if คุณต้องการใบอนุญาตที่ไม่มีเงื่อนไขตามรายได้ หรือให้ความสำคัญกับการดึงคืนความรู้และการให้เหตุผลแบบรอบเดียวมากกว่า
- Buy the MiniCPM5-2B if Apache 2.0 และคะแนนที่ชนะในบางงานด้านความรู้ตรงกับเงื่อนไขการใช้งานของคุณ
- Skip the MiniCPM5-2B if งานหลักคือเอเจนต์ เว็บอัตโนมัติ บริบท 256K หรือคุณมีข้อจำกัดด้าน KV cache
- Buy the LFM3-VL-2B if คุณทำงานกับภาพหรือวิดีโอและสามารถเปิดใช้การให้เหตุผลในการใช้งานจริง
- Skip the LFM3-VL-2B if คุณจะปิดโหมดคิดและคาดหวังผลใกล้เคียงคะแนนเฉลี่ย 71.4
