โมเดล AI ขนาดเล็กคืออะไร และทำไมเราควรสนใจ
โมเดล AI ขนาดเล็ก คือโมเดลปัญญาประดิษฐ์ที่ออกแบบให้ใช้พารามิเตอร์และหน่วยความจำน้อยลงผ่านเทคนิคอย่าง quantization AI และ Mixture of Experts เพื่อลดภาระการคำนวณแต่ยังรักษาความฉลาดใกล้เคียงโมเดลขนาดใหญ่ เป้าหมายคือให้รันได้บนฮาร์ดแวร์ทั่วไปหรือใกล้ผู้ใช้มากขึ้น เช่น อุปกรณ์สำหรับ edge deployment โดยไม่ต้องพึ่งศูนย์ข้อมูลขนาดใหญ่ตลอดเวลา
ทิศทางนี้สำคัญเพราะมันกำลังเปลี่ยนสมการระหว่างพลังและต้นทุน แทนที่เราจะต้องส่งทุกอย่างขึ้นคลาวด์ โมเดลรุ่นใหม่อย่าง Raon-1 mini และ M3.1 Flash แสดงให้เห็นว่าการย่อโมเดลไม่ได้แปลว่าต้องยอมแพ้เรื่องคุณภาพเสมอไป Raon-1 mini เป็นโมเดลภาษาแบบ Mixture-of-Experts ขนาด 28.8B พารามิเตอร์ แต่ใช้งานจริงเพียง 4.3B ต่อโทเคน ซึ่งหมายถึงการคำนวณต่อคำหนึ่งคำเบากว่าที่ตัวเลขรวมบอกมาก ส่วน M3.1 Flash แม้จะมีโครงสร้างใหญ่ระดับ 428B พารามิเตอร์ แต่ใช้เทคนิค quantization-aware training เพื่อลดขนาดไฟล์เหลือประมาณ 252GB เท่านั้น

Mixture of Experts ทำให้โมเดลใหญ่แต่เบาได้อย่างไร
หัวใจของโมเดล AI ขนาดเล็กยุคใหม่คือสถาปัตยกรรมแบบ Mixture of Experts หรือ MoE ที่ไม่บังคับให้ทุกพารามิเตอร์ทำงานพร้อมกันทุกครั้งที่เราป้อนข้อมูลเข้าไป แต่เลือกเฉพาะกลุ่มผู้เชี่ยวชาญบางส่วนมาทำงานต่อโทเคนหนึ่งตัว แนวคิดนี้ทำให้เราสามารถสร้างโมเดลที่มีพารามิเตอร์รวมมหาศาล แต่ภาระการคำนวณจริงต่อคำยังอยู่ในระดับที่ฮาร์ดแวร์ผู้ใช้ทั่วไปพอรับได้
Raon-1 mini ใช้ MoE ที่มี 128 experts และเลือกใช้ 6 ตัวพร้อม shared expert อีก 1 ตัวต่อโทเคน ผลคือแม้ตัวโมเดลจะมี 28.8B พารามิเตอร์ แต่พารามิเตอร์ที่แอคทีฟต่อโทเคนอยู่ที่ 4.3B เท่านั้น และยังสามารถรันบนการ์ดจอระดับผู้บริโภคอย่าง RTX 5090 ตัวเดียวได้เมื่อใช้คอนฟิกที่เตรียมไว้ ในขณะที่ M3.1 Flash ใช้ MoE 128 experts ต่อชั้นเช่นกัน โดยชั้นที่ 4 ถึง 60 เป็น MoE และเลือกใช้ 4 experts พร้อม shared expert 1 ตัวต่อโทเคน โครงสร้างนี้ทำให้โมเดลมีพารามิเตอร์รวมประมาณ 428B แต่พารามิเตอร์ที่ใช้งานจริงต่อโทเคนอยู่ราว 23B เท่านั้น
quantization AI และการลด KV cache ทำให้โมเดลเล็กลงแค่ไหน
อีกเสาหลักของโมเดล AI ขนาดเล็กคือ quantization AI การลดความละเอียดของตัวเลขที่ใช้เก็บน้ำหนักโมเดลจากระดับเช่น BF16 ลงมาเป็นรูปแบบที่กินบิตน้อยกว่า เพื่อให้ไฟล์เล็กลงและโหลดเร็วขึ้นโดยไม่ทำให้คุณภาพตกฮวบ Raon-1 mini เลือกเก็บน้ำหนักหลักในรูปแบบ MXFP8 ประมาณ 32.7GB แทนที่จะเป็น BF16 และยังคงเก็บชั้นสำคัญอย่าง attention router และ shared expert ด้วยความแม่นยำสูงตามที่ระบุใน quantization_config ในขณะที่ M3.1 Flash เดินเกมไกลกว่า โดยเทรน expert และเส้นทาง attention แบบ quantization-aware ตั้งแต่ต้น และใช้ moe_quant_algo แบบ NVFP4 ที่บีบค่า expert ให้เหลือ 4 บิตอัดสองค่าต่อหนึ่งไบต์ ส่วน attention ใช้ MXFP8
ผลลัพธ์ที่น่าสนใจคือส่วนของ expert ใน M3.1 Flash มีประมาณ 413B พารามิเตอร์ แต่เมื่ออัดแบบ 4 บิตแล้วกินพื้นที่ราว 206.6 พันล้านไบต์ และเมื่อรวมไฟล์ทั้งหมดในรีโปรวม draft head สำหรับ speculative decoding ขนาดไฟล์อยู่ที่ประมาณ 252GB เท่านั้น ด้านสถาปัตยกรรม Raon-1 mini ยังใช้การผสมระหว่าง linear attention กับชั้น MLA ที่เลือกเก็บ KV cache เฉพาะ 7 ชั้นจากทั้งหมด 25 ชั้น ส่วนที่เหลือเป็น linear attention ที่มี state ขนาดคงที่ ทำให้บริบทยาวใช้หน่วยความจำน้อยกว่า transformer ปกติอย่างมาก โดย KV cache อยู่เฉพาะในชั้น MLA ประมาณ 8 KiB ต่อโทเคน ที่บริบท 128K ใช้ KV cache ราว 1GB เท่านั้น
ไลเซนส์เปิดและข้อจำกัดที่นักพัฒนาต้องอ่านให้ครบ
แม้เทคนิคด้านวิศวกรรมจะสำคัญ แต่สำหรับนักพัฒนาที่อยากสร้างแอปบนโมเดล AI ขนาดเล็ก สิ่งที่ห้ามมองข้ามคือไลเซนส์ Raon-1 mini ปล่อยภายใต้ Apache-2.0 พร้อมไฟล์หลายรูปแบบทั้ง NVFP4 MXFP8 GGUF MLX และ draft model สำหรับ speculative decoding ในวันเดียวกัน model card ยืนยันว่าผู้ใช้สามารถนำโมเดลไปใช้เชิงพาณิชย์ แก้ไข และแจกจ่ายต่อได้ แม้ Apache จะไม่ครอบคลุมชุดข้อมูลเทรนก็ตาม นี่คือไลเซนส์ที่เปิดทางให้ทีมเล็กหรือสตาร์ทอัพสร้างผลิตภัณฑ์โดยไม่ต้องผูกกับ API ปิด
ฝั่ง M3.1 Flash สถานการณ์ต่างออกไป โมเดลนี้ใช้ไลเซนส์ MiniMax Community แบบเดียวกับรุ่น M3 ซึ่งในไฟล์ LICENSE ระบุว่าสิทธิ์พื้นฐานให้ใช้เพื่อวัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์ ถ้าจะใช้เชิงพาณิชย์ ผู้ใช้ต้องแสดงข้อความว่า Built with MiniMax M3.1-Flash ให้เห็นชัด และต้องส่งอีเมลแจ้งไปยัง [email protected] หนึ่งครั้ง นอกจากนี้ยังมีข้อกำหนดเพิ่มเติมเกี่ยวกับการใช้โมเดลที่ fine-tune แล้วและการให้บริการ API รวมถึงข้อห้ามบางประเภท เช่น การใช้เพื่อวัตถุประสงค์ทางทหาร ดังนั้นแม้โมเดลจะเปิดน้ำหนัก แต่ขอบเขตการใช้ก็ไม่ได้กว้างเท่า Apache-2.0
บทสรุป โมเดลเล็กแต่ฉลาดคืออนาคตของ AI ใกล้ตัว
เมื่อมองภาพรวม เราเห็นแนวโน้มชัดเจนว่าโมเดล AI ขนาดเล็กกำลังกลายเป็นทางสายกลางระหว่างพลังของโมเดลยักษ์กับข้อจำกัดของฮาร์ดแวร์ผู้ใช้ทั่วไป Raon-1 mini แสดงให้เห็นว่าการผสม Mixture of Experts กับ linear attention และการเก็บ KV cache เฉพาะบางชั้นสามารถลดหน่วยความจำลงอย่างมาก โดยยังรันบนการ์ดจอระดับผู้บริโภคได้ ขณะที่ M3.1 Flash แสดงอีกด้านหนึ่งของสเปกตรัม คือโมเดลขนาด 428B ที่ใช้ quantization-aware training แบบ NVFP4 เพื่อบีบขนาดไฟล์เหลือประมาณ 252GB แต่ยังรักษาประสิทธิภาพระดับสูงไว้ได้
สำหรับนักพัฒนา บทเรียนสำคัญคือการเลือกโมเดลไม่ควรดูแค่คะแนน benchmark หรือจำนวนพารามิเตอร์ แต่ต้องดูสถาปัตยกรรมจริง รูปแบบ quantization AI และไลเซนส์ที่ผูกอยู่ด้วย โมเดลอย่าง Raon-1 mini ภายใต้ Apache-2.0 เปิดโอกาสให้สร้างผลิตภัณฑ์เชิงพาณิชย์ได้อย่างยืดหยุ่น ส่วน M3.1 Flash แม้จะเป็น open-weight แต่ไลเซนส์ MiniMax Community จำกัดการใช้เชิงพาณิชย์และกำหนดเงื่อนไขชัดเจน เมื่อเทคโนโลยีอย่าง Mixture of Experts และการลด KV cache สุกงอมมากขึ้น เราจะเห็น AI ที่เข้าใกล้ผู้ใช้มากกว่าเดิม และ edge deployment ที่เป็นไปได้ในทางปฏิบัติ ไม่ใช่แค่คำโฆษณา






