กำแพงหน่วยความจำ AI คืออะไร และทำไมถึงกลายเป็นปัญหาใหญ่
หน่วยความจำ AI bottleneck คือภาวะที่ประสิทธิภาพการประมวลผลของชิป AI เติบโตเร็วกว่าความเร็วในการเข้าถึงข้อมูลของหน่วยความจำ ส่งผลให้ตัวประมวลผลทรงพลังต้องเสียเวลารอข้อมูลจากหน่วยความจำแทนที่จะได้ทำงานเต็มศักยภาพ ปัญหานี้กลายเป็นกำแพงสำคัญของระบบ AI สมัยใหม่ โดยเฉพาะงานเทรนและรันโมเดลขนาดใหญ่ที่ต้องใช้ข้อมูลจำนวนมหาศาลต่อเนื่องไม่หยุดพัก เมื่อดูตัวเลขจะเห็นความเหลื่อมชัดเจน การประมวลผลของระบบ AI เติบโตประมาณ 3 เท่าทุกสองปี ขณะที่ HBM bandwidth สำหรับ AI เติบโตไม่ถึง 2 เท่าในช่วงเวลาเดียวกัน ทำให้กำแพงหน่วยความจำยิ่งสูงขึ้นเรื่อยๆ ผลคือแม้ลงทุนกับจีพียูระดับสูงแล้ว ระบบก็ยังสะดุดที่ปัญหาหน่วยความจำ AI แทบทั้งนั้น ผู้ผลิตฮาร์ดแวร์จึงไม่มีทางเลือกนอกจากต้องบุกโจมตีจุดอ่อนนี้อย่างจริงจัง
HBM bandwidth สำหรับ AI กับเดิมพันของเทคโนโลยี HBM4 จาก Micron
จุดเปลี่ยนสำคัญของสงครามกับหน่วยความจำ AI bottleneck คือการยกระดับ HBM bandwidth สำหรับ AI เพราะงานส่วนใหญ่ของระบบ AI โดยเฉพาะโมเดลภาษาใหญ่ถูกผูกไว้กับหน่วยความจำมากกว่ากับพลังคอมพิวต์เสียด้วยซ้ำ ผู้ผลิตจีพียูจึงต้องหาทางผลักเพดานแบนด์วิธให้สูงขึ้น เพื่อปลดล็อกศักยภาพของตัวประมวลผลที่ลงทุนไปแพงกว่าทุกส่วนในระบบ HBM ถูกยกให้เป็น DRAM หลักสำหรับตัวเร่ง AI ชั้นนำในตอนนี้ เนื่องจากรูปแบบการซ้อนชิปและสถาปัตยกรรมช่องสัญญาณจำนวนมากทำให้ส่งข้อมูลกว้างและเร็วกว่า DDR แบบเดิมมาก เมื่อดูตัวอย่างล่าสุด เทคโนโลยี HBM4 ของ Micron ให้แบนด์วิธสูงสุดถึง 2800 GB/s พร้อมเพิ่มจำนวน IO เป็นสองเท่าและเพิ่มช่องสัญญาณเป็นสองเท่าจาก HBM3E ทุกเจนเนอเรชันมีการเพิ่ม data rate pseudo-channel ความหนาแน่น และความสูงของการซ้อนชิปอย่างต่อเนื่อง แสดงให้เห็นว่าอุตสาหกรรมยอมแบกรับความซับซ้อนด้านการออกแบบและการบรรจุหน่วยความจำขั้นสูง เพื่อแลกกับการตีทะลุกำแพงหน่วยความจำให้ได้
การบรรจุหน่วยความจำขั้นสูงและด้านมืดของการดันสแต็กให้สูงขึ้น
แม้ HBM จะดูเหมือนคำตอบของปัญหาหน่วยความจำ AI แต่ด้านมืดของมันคือความซับซ้อนอย่างสุดขั้วของการบรรจุหน่วยความจำขั้นสูงทั้งในระดับกระบวนการผลิตและแพ็กเกจจิ้ง ชุด HBM หนึ่งกองที่มีสแต็กสูงสามารถกินพื้นที่ซิลิคอนมากกว่าจีพียูเองแบบมหาศาล ในระบบจีพียูทั่วไปที่ใช้ HBM สี่กองสูง 12 ชั้น เม็ดความจำเหล่านี้คิดเป็นกว่า 90 เปอร์เซ็นต์ของพื้นที่ซิลิคอนรวมมากถึง 8 เท่าของจีพียูหลัก สแต็กของ HBM เติบโตจาก 4 ชั้นไปถึง 16 ชั้นแล้ว และยังมีทางเดินต่อไปถึง 20 ชั้น แต่ต้องเผชิญกำแพงด้านความร้อนและโครงสร้างเชิงกลที่ยากขึ้นอย่างมาก ยิ่งหนาแน่นต่อเม็ด DRAM สูงเท่าไร ประสิทธิภาพต่อบิตยิ่งดรอปลง ปัญหาหน่วยความจำ AI จึงไม่ได้จบแค่การเพิ่มความเร็ว แต่ต้องแก้ทั้งความน่าเชื่อถือ การจัดการความร้อน และปฏิสัมพันธ์ระหว่างชิปกับแพ็กเกจ ที่สำคัญกว่านั้น งานเทรนโมเดลจริงก็สะท้อนเรื่องนี้ชัด เมตารายงานว่าการเทรน Llama 3 มีการหยุดโดยไม่ตั้งใจถึง 17 เปอร์เซ็นต์ที่โยงกับปัญหา HBM โดยตรง ทำให้เห็นว่าการรบกับกำแพงหน่วยความจำยังห่างไกลคำว่าชนะ
เกมระยะยาวของ NVIDIA กับการล็อกซัพพลาย DRAM จนถึงปี 2028
ขณะที่ฝ่ายเทคโนโลยีพยายามดัน HBM ให้เร็วขึ้น ฝั่งธุรกิจก็มีสงครามอีกด้าน นั่นคือการแย่งชิงซัพพลายหน่วยความจำสำหรับ AI ที่กำลังตึงตัวอย่างหนัก การตั้งโรงงานผลิตชิปใหม่ใช้เวลาหลายปีและลงทุนสูง ทำให้ผู้ผลิตลังเลว่าจะขยายกำลังผลิตทันหรือไม่ หากดีมานด์เปลี่ยนก่อนโรงงานเสร็จ แต่คลื่น AI รอบนี้กำลังบังคับให้ทุกคนต้องเสี่ยงมากขึ้น รายงานการวิจัยล่าสุดชี้ว่า NVIDIA อาจลงนามข้อตกลงจัดหาหน่วยความจำระยะยาวกับ SK Hynix และ Micron ครอบคลุมทั้ง HBM และ DRAM เพื่อกันซัพพลายสำหรับผลิตภัณฑ์ตัวเองให้มั่นคงจนถึงช่วงปลายทศวรรษนี้ การทำดีลหลายปีแบบนี้ไม่ได้เป็นแค่การซื้อของล่วงหน้า แต่เป็นการส่งสัญญาณให้ผู้ผลิตหน่วยความจำกล้าขยายกำลังผลิต เพราะมองเห็นอุปสงค์ระยะยาวชัดเจนขึ้น ในทางกลับกัน ผู้เล่นรายเล็กที่ไม่มีดีลเช่นนี้ก็เสี่ยงถูกทิ้งให้รอซัพพลายหรือซื้อในราคาสูงโดยแทบไม่มีอำนาจต่อรอง เมื่อปัญหาหน่วยความจำ AI กลายเป็นเรื่องยุทธศาสตร์ การแย่งชิง HBM4 และ DRAM จึงกลายเป็นเกมหมากลึกของบริษัทชิประดับโลก
SK Hynix กับการขยายกำลังผลิต HBM หลายภูมิภาคเพื่อทุบกำแพงหน่วยความจำ
ในสมรภูมิหน่วยความจำ AI SK Hynix กำลังเล่นเกมรุกหนักกว่าที่เคย เหตุผลไม่ใช่แค่ต้องตอบดีมานด์ที่พุ่งสูง แต่เพราะเม็ดเงินจากความจำสำหรับ AI ให้กำไรสูงจนสามารถเป็นเชื้อไฟขับเคลื่อนการลงทุนรอบใหม่ได้ด้วยตัวเอง องค์กรลงทุนเอกชนจำนวนมากมองเห็นโอกาสระยะยาวและพร้อมลงเงินสนับสนุน ซึ่งสะท้อนว่ากำแพงหน่วยความจำ AI ถูกมองเป็นเหมืองทองแห่งอนาคตมากกว่าจะเป็นปัญหาเทคนิคเฉพาะทาง ด้านโรงงานผลิต มีรายงานว่า SK Hynix ตั้งใจสร้างโรงงานหน่วยความจำใหม่ในภูมิภาคหนึ่งของญี่ปุ่น พร้อมกันนั้นยังสร้างโรงงานบรรจุ HBM ในรัฐอินเดียนาของสหรัฐอเมริกา เพื่อเสริมกำลังการผลิตและการแพ็กเกจ HBM ให้ครอบคลุมหลายภูมิภาค ขณะเดียวกันโรงงานผลิต NAND ในเมืองต้าเหลียนก็อยู่ระหว่างการเพิ่มกำลังผลิตด้วย ภาพรวมคือการวางเครือข่ายโรงงาน DRAM HBM และ NAND หลายจุด เพื่อลดความเสี่ยงด้านซัพพลายและตอบสนองดีมานด์ AI ที่เพิ่มขึ้นอย่างต่อเนื่อง การเคลื่อนไหวแบบนี้ทำให้ตลาดไม่สามารถมองหน่วยความจำ AI เป็นแค่ส่วนประกอบราคาถูกอีกต่อไป แต่เป็นหัวใจของการแข่งขันเชิงโครงสร้างของอุตสาหกรรมเซมิคอนดักเตอร์ยุคใหม่
