กำแพงหน่วยความจำของชิป AI คืออะไร และทำไมถึงน่ากังวล
กำแพงหน่วยความจำของชิป AI คือภาวะที่พลังประมวลผลของหน่วยประมวลผลเติบโตเร็วกว่าแบนด์วิธและสถาปัตยกรรมหน่วยความจำ ทำให้ตัวชิปต้องรอข้อมูลจากหน่วยความจำอยู่ตลอด ส่งผลให้ประสิทธิภาพจริงต่ำกว่าศักยภาพอย่างมากและทำให้การขยายขนาดโมเดล AI ติดคอขวดด้านข้อมูล แม้จะเพิ่มจำนวนคอร์หรือลดขนาดทรานซิสเตอร์ แต่หากท่อข้อมูลไปยังหน่วยความจำไม่โตตาม เครื่องก็ไม่สามารถวิ่งได้เต็มความเร็วที่ออกแบบไว้
หัวใจของปัญหาในตอนนี้คือ HBM bandwidth AI chips กลายเป็นจุดอ่อนแทนที่จะเป็นจุดแข็ง เมื่อโหลดงาน AI ส่วนใหญ่กลายเป็นลักษณะ memory-bound คือชิปต้องรอข้อมูลเข้าออกหน่วยความจำอยู่ตลอด ทำให้ compute ที่เพิ่มขึ้นกลายเป็นพลังที่ใช้ไม่หมด นักออกแบบชิปจึงไม่ได้แข่งกันที่จำนวนเทราฟลอปอย่างเดียวอีกต่อไป แต่กำลังเคลื่อนศูนย์กลางการแข่งขันไปที่แบนด์วิธหน่วยความจำ การจัดวาง HBM รอบ GPU และวิธีหลบเลี่ยง memory bottleneck AI ให้ได้มากที่สุด
ทำไม HBM ถึงสำคัญกว่า DDR สำหรับ AI และต่างกันอย่างไร
ใครที่เคยใช้พีซีทั่วไปจะคุ้นกับ DRAM แบบ DDR5 แต่โลกของ AI เร่งความเร็วกำลังย้ายศูนย์กลางไปที่ HBM หรือ High Bandwidth Memory เพราะ DDR แม้ให้ความจุสูงและใส่ได้หลายแผง แต่กินพื้นที่มากและแบนด์วิธต่อระบบอยู่ในระดับหลายร้อย GB/s เท่านั้น ขณะที่ HBM ถูกวางชิดกับ GPU และให้แบนด์วิธระดับหลาย TB/s ต่อระบบ ช่วยผลักดันเพดานประสิทธิภาพของงาน AI ได้ไกลกว่าอย่างชัดเจน
ถ้ามองในระดับต่อชิป DDR5 ให้แบนด์วิธราวหลักสิบ GB/s ต่อได ในขณะที่ HBM3E สามารถดันได้ราว 256 GB/s ต่อได ซึ่งสูงกว่าหลายสิบเท่า และในระบบ GPU ที่ใช้หลายกอง HBM แบนด์วิธรวมสามารถขึ้นไปถึงระดับ 5.3 TB/s ขณะที่ DDR ยังอยู่แถว 300 GB/s ถึงระดับสูงสุดประมาณ 1 TB/s เท่านั้น จุดนี้เองที่ทำให้คำว่า AI chip memory wall กลายเป็นเรื่องจริงจัง เพราะถ้าเลือกสถาปัตยกรรมหน่วยความจำผิด เท่ากับล็อกเพดานสมรรถนะของระบบตั้งแต่วันออกแบบ
Micron, HBM4 และตัวอย่างวิกฤต memory bottleneck ในโลกจริง
ฝั่งผู้ผลิตหน่วยความจำรายใหญ่เริ่มส่งสัญญาณตรงกันว่ากำแพงหน่วยความจำของ AI หนาและสูงขึ้นเรื่อยๆ เมื่อพลังประมวลผลเติบโตเร็วกว่าแบนด์วิธ HBM ประมาณสามเท่าทุกสองปี ทำให้ช่องว่างระหว่าง compute กับหน่วยความจำยิ่งถ่างออก งานวิจัยของผู้เชี่ยวชาญด้านสถาปัตยกรรม HBM ระบุว่าระบบ AI ขนาดใหญ่จำนวนมากมีลักษณะ memory-bound และ HBM ที่มีแบนด์วิธสูงช่วยดันเส้น roofline ให้ระบบเข้าใกล้ประสิทธิภาพสูงสุดของตัวโปรเซสเซอร์ได้มากขึ้น
ตัวอย่างที่สะท้อนความเปราะบางของโครงสร้างนี้คือรายงานฝึกโมเดล Llama 3 ซึ่งพบว่าการขัดข้องที่ไม่คาดคิดถึง 17% มาจากปัญหา HBM โดยตรง แสดงว่าหน่วยความจำไม่ได้เป็นแค่ตัวเร่ง แต่ยังเป็นจุดล้มเหลวระดับระบบด้วย Micron ตอบโจทย์นี้ด้วย HBM4 ที่ให้แบนด์วิธสูงสุดถึง 2800 GB/s มีช่องสัญญาณเพิ่มขึ้นสองเท่าเมื่อเทียบกับ HBM3E เพื่อลดแรงกดดันจาก memory wall และดึงประสิทธิภาพของชิป AI ให้เข้าใกล้ค่าที่ระบุบนสเปกมากขึ้น
ขาด DRAM ยาวถึง 2028 และสงครามสัญญาระยะยาวของผู้เล่นรายใหญ่
ด้านซัพพลาย ตลาดกำลังเข้าสู่สภาวะตึงตัวแบบยืดเยื้อ ผู้บริหารบางค่ายฮาร์ดแวร์รายใหญ่เตือนว่าปัญหาขาดแคลนหน่วยความจำอาจลากยาวอย่างน้อยถึงช่วงหลังปี 2026 และก่อนหน้านั้นผู้ออกแบบชิปอีกรายก็ออกคำเตือนว่าราคา DRAM มีแนวโน้มจะไม่กลับสู่ภาวะนิ่งจนกว่าจะถึงปี 2028 ทำให้คำว่า DRAM shortage 2028 ไม่ใช่คำขู่แต่คือสมมติฐานหลักในการวางแผนลงทุนโครงสร้างพื้นฐาน AI รอบใหม่
ในบริบทนี้ รายงานจากบริษัทวิจัยแห่งหนึ่งเผยว่าผู้ผลิตชิป AI รายสำคัญได้ทำข้อตกลงจัดหาหน่วยความจำแบบหลายปีล่วงหน้ากับผู้ผลิต DRAM ชั้นนำอย่าง SK hynix และ Micron ครอบคลุมทั้ง HBM และ DRAM ทั่วไป ข้อตกลงระยะยาวเหล่านี้สะท้อนสองประเด็นชัดเจน หนึ่ง คือผู้เล่นรายใหญ่ยอมรับแล้วว่าปัญหา memory bottleneck AI ไม่ได้จำกัดอยู่แค่เทคโนโลยี แต่โยงถึงกำลังการผลิตในห่วงโซ่อุปทาน สอง คือพวกเขายอมจอง capacity ล่วงหน้าเพื่อให้แน่ใจว่าชิป AI รุ่นถัดไปจะไม่ขาดหน่วยความจำมาคู่กัน
เมื่อหน่วยความจำกลายเป็นตัวกำหนดทิศทางสถาปัตยกรรม AI ทั้งระบบ
ประโยคที่ควรถามในวันนี้ไม่ใช่ว่า GPU แรงแค่ไหน แต่คือระบบมีแบนด์วิธหน่วยความจำมากพอจะป้อนข้อมูลให้ GPU หรือไม่ เพราะในระบบ GPU สมัยใหม่ที่ใช้ HBM แบบสี่กอง 12-high พื้นที่ซิลิคอนราว 90% เป็นของชั้นหน่วยความจำ มากกว่าตัวชิป GPU เองถึงประมาณแปดเท่า ซึ่งแปลตรงตัวว่าหน่วยความจำคือศูนย์กลางทางกายภาพและวิศวกรรมของทั้งแพ็กเกจแล้ว
เมื่อโหลดงาน LLM ขนาดใหญ่ต้องการทั้ง compute สูงและชุดข้อมูลกับพารามิเตอร์จำนวนมาก หน่วยความจำจึงกลายเป็นแกนหลักของการสเกลระบบ AI ไม่ว่าจะเป็น HBM bandwidth AI chips ที่สูงขึ้น การวางผัง interposer ใหม่ หรือการลงทุนโครงสร้างพื้นฐานระบายความร้อนแบบของเหลวเพื่อรองรับความหนาแน่นพลังงานในกอง HBM ที่สูงขึ้น สรุปคือ memory bottleneck AI ไม่ได้เป็นปัญหายิบย่อยด้านชิป แต่มันกำลังบังคับให้ทั้งวงจรออกแบบชิป ดาต้าเซ็นเตอร์ และกลยุทธ์ลงทุนของบริษัทเทคโนโลยีต้องหมุนรอบคำถามเดียวกันว่า เราจะทำให้ข้อมูลวิ่งทันสมองของเครื่องได้อย่างไร
