ค้นพบความสนใจของคุณ ไปด้วยกัน

ดีลจริง รีวิวตรงไปตรงมา และเรื่องราวการช้อปปิ้งจากคนที่มีความสนใจเดียวกับคุณ — ทุกวันบน ZestBuy

ค้นพบความสนใจของคุณ ไปด้วยกันดีลจริง รีวิวตรงไปตรงมา และเรื่องราวการช้อปปิ้งจากคนที่มีความสนใจเดียวกับคุณ — ทุกวันบน ZestBuy

ลดค่าใช้จ่าย AI ด้วยการเลือกโมเดลให้ตรงงานและคุมงบ

ลดค่าใช้จ่าย AI ด้วยการเลือกโมเดลให้ตรงงานและคุมงบ
ความสนใจ|สำรวจการใช้งาน AI

วัดความคุ้มค่าจากงานสำเร็จ ไม่ใช่ราคาโทเค็น

การลดต้นทุน AI คือการลดค่าใช้จ่ายรวมเพื่อให้งานผ่านการตรวจสอบ โดยเลือกโมเดลและระดับการประมวลผลให้เหมาะกับความยากของงาน แทนการยึดราคาต่อโทเค็นเป็นเกณฑ์เดียว วิธีคิดนี้สำคัญขึ้นเมื่อเอเจนต์เขียนโค้ดทำงานหลายขั้น เพราะค่าใช้จ่ายไม่ได้จบที่การเรียกโมเดลหนึ่งครั้ง แต่รวมถึงกระบวนการจนได้ผลลัพธ์ที่ใช้ได้จริง

เมื่อราคาต่อโทเค็นลดลง ค่าใช้จ่ายด้านวิศวกรรมของเอเจนต์เขียนโค้ดอัตโนมัติกลับสูงขึ้น จึงควรวัดต้นทุนต่อหนึ่งงานที่สำเร็จ โดยนำค่าใช้จ่ายทั้งหมดหารด้วยจำนวนงานที่ผ่านการตรวจสอบ ไม่ใช่ดูเพียงว่าโมเดลใดมีอัตราค่าบริการถูกกว่า นี่เป็นจุดเปลี่ยนที่ควรนำมาใช้จริง เพราะโมเดลราคาถูกที่ทำงานพลาดบ่อยอาจแพงกว่าโมเดลที่เหมาะกับงานตั้งแต่ต้น

เราเตอร์น้ำหนักเบาช่วยส่งงานให้ถูกโมเดล

แทนที่จะส่งทุกคำถามไปยังโมเดลใช้เหตุผลระดับสูง องค์กรสามารถวางตัวจำแนกประเภทงานน้ำหนักเบาไว้ก่อน เพื่อแยกคำขอทั่วไปออกจากงานที่ต้องคิดหลายขั้น งานสั้นและจบในตัวจึงไปยังโมเดลราคาประหยัดกว่า ส่วนโจทย์ซับซ้อนค่อยยกระดับไปยังโมเดลที่มีกำลังมากกว่า แนวทางนี้ทำให้การเลือกโมเดล AI อิงลักษณะงาน ไม่ใช่ التخمينจากความยาวพรอมต์หรือราคาต่อโทเค็นเพียงอย่างเดียว

การทดสอบตัวจำแนก Jev กับงานใหม่ 34 ข้อรายงานความถูกต้อง 100% ขณะที่ฮิวริสติกจากคำสำคัญหรือความยาวพรอมต์ทำได้ 70.6% อย่างไรก็ดี การตั้งคำถามกว้าง ๆ ว่างานง่ายหรือยากอาจจัดประเภทพลาด การแตกโจทย์เป็นคำถามตรวจสอบเฉพาะจุดช่วยให้การส่งงานแม่นขึ้น และการวัดผลควรดูทั้งความสำเร็จ ค่าใช้จ่าย และเวลาตอบสนอง

เพดานงบช่วยหยุดการใช้เกิน แต่ไม่เลือกโมเดลแทนคน

อีกทางหนึ่งคือควบคุมงบใช้ AI ด้วยการกำหนดวงเงินต่อวันให้พนักงาน รายงานระบุว่า Apple ลดโควตาของวิศวกรบางกลุ่มจาก 300 ดอลลาร์ต่อวันเหลือ 200 ดอลลาร์ในเดือนตุลาคม และอาจลดลงอีกสำหรับบางทีม บริษัทเปิดทางให้พนักงานขอเพิ่มวงเงินเมื่อจำเป็น พร้อมสนับสนุนให้บางทีมใช้โมเดลราคาประหยัดกว่าหรือเปลี่ยนไปใช้ AI บนอุปกรณ์

การกำหนดเพดานทำให้รายจ่ายมีขอบเขตชัดเจน แต่ไม่รับประกันว่างานจะถูกส่งไปยังโมเดลที่เหมาะสม และอาจกลายเป็นข้อจำกัดต่อทีมที่ใช้ AI ทำงานเขียนโค้ดซึ่งกินโทเค็นจำนวนมาก รายงานยังระบุว่าพนักงานบางส่วนใช้วงเงินเดิมไม่เต็มอยู่แล้ว จึงเป็นไปได้ว่าการประหยัดจากการลดเพดานอาจไม่มากนัก นี่คือข้อจำกัดของการคุมงบแบบเหมารวมเมื่อเทียบกับการจัดเส้นทางตามประเภทงาน

ใช้สองแนวทางร่วมกัน แต่ให้การเลือกงานนำหน้า

การจัดเส้นทางโมเดลและการจำกัดงบใช้ AI สะท้อนเป้าหมายเดียวกันคือควบคุมค่าใช้จ่าย แต่ทำงานคนละระดับ วิธีแรกจัดการต้นทุนในแต่ละงาน ส่วนวิธีหลังจำกัดการใช้จ่ายของทีม Apple ใช้ทั้งการขอให้บางทีมเลือกโมเดลที่ประหยัดขึ้นและการลดโควตา ขณะที่แนวทางเราเตอร์มุ่งส่งงานประจำไปยังโมเดลที่เพียงพอ ก่อนยกระดับโจทย์ยาก

ข้อเสนอที่สมเหตุสมผลคือเริ่มจากเลือกโมเดลและระดับการคิดให้เหมาะกับงาน แล้วใช้เพดานเป็นมาตรการป้องกันเมื่อการใช้สูงเกินคาด ควรระวังด้วยว่าการสลับโมเดลในงานยาวที่มีบริบทมากอาจทำให้เสียประโยชน์จากแคช จึงควรจัดเส้นทางกับงานสั้นที่จบในตัว และติดตามต้นทุนต่อหนึ่งงานที่สำเร็จจริงผ่านบันทึกการใช้งานและเครื่องมือวิเคราะห์ข้อมูล

บทสรุปคือการคุมงบเพียงอย่างเดียวแก้ปลายเหตุ หากองค์กรต้องการลดต้นทุน AI โดยไม่บั่นทอนคุณภาพ ควรเริ่มจากการส่งงานให้โมเดลเหมาะประเภท วัดผลจากงานที่ผ่านจริง แล้วค่อยกำหนดวงเงินเพื่อควบคุมภาพรวม การผสานสองวิธีเช่นนี้แม่นยำกว่าการบังคับให้ทุกคนใช้น้อยลงโดยไม่แยกว่างานใดจำเป็นต้องใช้ความสามารถระดับสูง

ลดค่าใช้จ่าย AI ด้วยการเลือกโมเดลให้ตรงงานและคุมงบ

ZestBuy ได้รับค่าคอมมิชชั่นเมื่อคุณช้อปผ่านลิงก์ของเรา โดยคุณไม่ต้องจ่ายเพิ่ม

You May Also Like

Comments
พูดอะไรบางอย่าง...
ยังไม่มีความคิดเห็น มาเป็นคนแรกที่แบ่งปันความคิดเห็นของคุณ!