เลือกจากลักษณะงาน ไม่ใช่คะแนนเดียว
Nemotron 3.5 Transcribe คือโมเดลถอดเสียงแบบน้ำหนักเปิดที่รวมการถอดคำพูด การแยกผู้พูด การแปล และการตอบคำถามจากไฟล์เสียงไว้ในเช็กพอยต์เดียว จึงเหมาะกับงานที่ต้องการผลลัพธ์หลายชนิดจากเสียงชุดเดียว มากกว่างานถอดคำอย่างเดียวที่ให้ความสำคัญกับการติดตั้งง่ายและใช้เครื่องไม่มาก หากต้องจัดทำบันทึกประชุม สัมภาษณ์ หรือไฟล์ที่ต้องระบุว่าใครพูดเมื่อไร Nemotron มีข้อได้เปรียบด้านเวิร์กโฟลว์ แต่ถ้าเป็นคลิปเสียงเดี่ยวจำนวนมากบนเครื่องทั่วไป Whisper Large v3 Turbo มักเป็นทางเลือกที่ใช้งานได้จริงกว่า ส่วน Gemini เป็นบริการแบบมีการจัดการที่ได้คะแนนทดสอบบางรายการสูงกว่า Nemotron แต่ตัวเลขเหล่านั้นต้องอ่านควบคู่กับวิธีทดสอบ ไม่ควรตัดสินจากอันดับเพียงอย่างเดียว
ข้อเสนอของ Nemotron คือใช้คำสั่งเลือกสไตล์ผลลัพธ์ได้ ตั้งแต่ถอดคำต่อคำที่เก็บการพูดซ้ำ ไปจนถึงข้อความที่จัดรูปแบบให้อ่านง่ายและติดป้ายผู้พูด นอกจากนี้ยังรองรับการแปลระหว่างภาษาอังกฤษกับอีก 31 ภาษา การระบุภาษาที่พูด และการตอบคำถามหรือทำตามคำสั่งจากเสียง โดยรับไฟล์ยาวได้ถึงหนึ่งชั่วโมง จุดนี้ลดการต่อโมเดลหลายตัวเข้าด้วยกันได้ แต่คำว่าโมเดลเดียวไม่ได้แปลว่าระบบทั้งหมดเบาหรือเรียบง่ายเสมอไป
ตัวเลขความแม่นยำต้องอ่านพร้อมเงื่อนไข
ผลทดสอบสาธารณะที่นำ Gemini 3.5 Transcribe กับ Nemotron มาเทียบกันรายงานค่าอัตราความผิดพลาดของคำ 2.6% สำหรับ Gemini และ 3.4% สำหรับ Nemotron โดย Gemini อยู่ในอันดับที่เก้า ส่วน Nemotron อยู่ที่อันดับยี่สิบ อย่างไรก็ดี เอกสารเปิดตัวของ NVIDIA ระบุค่า Nemotron ที่ 2.8% และอันดับหนึ่งร่วมในกลุ่มโมเดลน้ำหนักเปิด ขณะที่กระดานคะแนนที่ตรวจดูในวันถัดมาระบุ 3.4% ตัวเลขสองชุดมาจากดัชนีเดียวกันแต่ไม่ได้มาจากการรันครั้งเดียวกัน
ดัชนีดังกล่าวรวมเสียงจากสามชุดข้อมูล โดยให้น้ำหนัก AgentTalk 50% และ VoxPopuli-Cleaned กับ Earnings22-Cleaned ชุดละ 25% จึงเป็นคะแนนผสม ไม่ใช่ผลแยกตามประเภทงาน การประมวลผลล่วงหน้า การตั้งค่าถอดรหัส และการกำหนดค่าปลายทางก็มีผลต่อคะแนนได้ด้วย สำหรับผู้ใช้ที่มีเสียงประชุมหรือเสียงเฉพาะทาง ควรทดสอบด้วยตัวอย่างของตนเองและเทียบรูปแบบเอาต์พุตจริง แทนการคาดว่าความต่างบนกระดานจะเกิดซ้ำในงานประจำวัน
| ประเด็น | Nemotron 3.5 Transcribe | Whisper Large v3 Turbo |
|---|---|---|
| สถาปัตยกรรม | โมเดลภาษาแบบผสมผู้เชี่ยวชาญ ไฮบริด Mamba–Transformer มีพารามิเตอร์รวมราว 34 พันล้าน และทำงานราว 4.3 พันล้านต่อโทเคน | โมเดลเข้ารหัสและถอดรหัสที่กลั่นจาก large-v3 โดยลดตัวถอดรหัสจาก 32 ชั้นเหลือ 4 ชั้น |
| ขนาดไฟล์น้ำหนัก | ประมาณ 68 GB ในรูปแบบ BF16 | ประมาณ 1.6 GB ในรูปแบบ fp16 หรือ 0.81 GB ในรูปแบบ int8 |
| แยกผู้พูด | มีป้ายชื่อผู้พูดในผลลัพธ์ รองรับสูงสุด 8 คน ใน 13 ภาษา | ไม่มีป้ายชื่อผู้พูดในตัว ต้องใช้ตัวแยกผู้พูดเพิ่มเติม |
| การประทับเวลา | ระบุเวลาได้ถึงระดับคำด้วยอะแดปเตอร์ CTC | มีเวลาในระดับเซกเมนต์ หากต้องการระดับคำต้องเพิ่มการจัดแนว |
| ความยาวเสียงและภาษา | รับไฟล์ได้ถึงหนึ่งชั่วโมง ถอดเสียง 40 ภาษา และแปลระหว่างอังกฤษกับ 31 ภาษา | ใช้หน้าต่างเสียง 30 วินาทีและแบ่งเสียงยาวเป็นส่วน ถอดเสียงได้ 99 ภาษา แต่ไม่มีการแปลในตัว |
| การใช้งานและสัญญาอนุญาต | ต้องใช้ระบบติดตั้งเฉพาะและตัวเร่งที่มีหน่วยความจำสูง ใช้สัญญาอนุญาต OpenMDW-1.1 | ทำงานบน CPU ได้ผ่านเครื่องมือหลายแบบ ใช้สัญญาอนุญาต MIT |
Nemotron ชนะด้านผู้พูด แต่ต้องจ่ายด้วยทรัพยากร
เมื่อเทียบกับ Whisper Large v3 Turbo จุดแข็งของ Nemotron อยู่ที่การใส่ป้ายผู้พูดและการประทับเวลาในระดับคำในกระบวนการเดียว พร้อมรองรับไฟล์เสียงยาวถึงหนึ่งชั่วโมงโดยไม่ต้องแบ่งช่วงเอง ส่วน Whisper ใช้หน้าต่างเสียง 30 วินาทีและไม่มีโทเค็นผู้พูดในตัว จึงต้องประกอบตัวแยกผู้พูดและเครื่องมือจัดแนวเพิ่มหากต้องการผลลัพธ์แบบเดียวกัน สำหรับการประชุมหลายคนหรือเสียงที่ต้องตรวจสอบย้อนกลับได้ ความสามารถที่รวมมาให้มีประโยชน์กว่าความต่างของคะแนนถอดเสียงเพียงอย่างเดียว
ข้อแลกเปลี่ยนคือขนาดและความยุ่งยากในการใช้งาน น้ำหนัก Nemotron ใน BF16 อยู่ที่ประมาณ 68 GB และการติดตั้งแบบเต็มต้องใช้ระบบให้บริการเฉพาะกับตัวเร่งระดับสูง ขณะที่ Whisper Large v3 Turbo มีน้ำหนัก int8 ราว 0.81 GB และทำงานบน CPU ได้ ผู้ใช้ที่มีการ์ดหน่วยความจำจำกัดหรือประมวลผลคลิปโมโนจำนวนมากจึงควรเริ่มจาก Whisper เว้นแต่จะต้องใช้ป้ายผู้พูดหรือเวลาในระดับคำเป็นข้อกำหนดสำคัญ
มีทางเลือกการติดตั้ง Nemotron ที่เบากว่า แต่ระบบแบบง่ายอาจไม่มีการประทับเวลา ป้ายผู้พูด หรือการแปลครบถ้วน ส่วนการติดตั้งเต็มต้องประกอบส่วนเสริม และการประทับเวลาในระดับคำอาจต้องเพิ่มขั้นตอนภายหลัง หากมีระบบ WhisperX อยู่แล้ว ต้นทุนการเพิ่มการแยกผู้พูดและการจัดแนวก็จ่ายไปส่วนหนึ่งแล้ว ทำให้เหตุผลในการย้ายอ่อนลง หากยังไม่มีระบบเหล่านี้และต้องการผลลัพธ์หลายชนิดจากเสียงเดียว Nemotron จึงมีเหตุผลรองรับมากกว่า
Buy if / Skip if
- Buy the Nemotron 3.5 Transcribe if ต้องถอดเสียงประชุม งานกฎหมาย งานคลินิก หรือสายติดต่อที่มีหลายผู้พูด และต้องการป้ายผู้พูดกับเวลาในระดับคำในรอบเดียว
- Skip the Nemotron 3.5 Transcribe if มีฮาร์ดแวร์จำกัด ต้องประมวลผลเสียงโมโนจำนวนมาก หรือไม่ต้องการดูแลระบบติดตั้งเฉพาะ
- Buy the Whisper Large v3 Turbo if ต้องการโมเดลถอดเสียงขนาดเล็กที่ทำงานบน CPU ได้ และมีขั้นตอนแยกผู้พูดหรือจัดแนวเสียงอยู่แล้ว
- Skip the Whisper Large v3 Turbo if ต้องการป้ายชื่อผู้พูดและเวลาในระดับคำทันทีโดยไม่เพิ่มโมเดลหรือขั้นตอนประมวลผล
- Buy the Gemini 3.5 Transcribe if ต้องการบริการถอดเสียงแบบมีการจัดการและให้ความสำคัญกับคะแนนทดสอบที่รายงาน แต่ควรทดลองกับเสียงจริงก่อนเลือกใช้
- Skip the Gemini 3.5 Transcribe if ต้องการดาวน์โหลดน้ำหนักโมเดลและควบคุมการติดตั้งหรือการประมวลผลภายในระบบของตนเอง
