High Bandwidth Flash คือชั้นสตอเรจใหม่ระหว่าง DRAM และ SSD
High Bandwidth Flash (HBF) คือมาตรฐานสตอเรจแบบแฟลชความเร็วสูงที่ออกแบบให้ทำงานเป็นชั้นหน่วยความจำระหว่าง High Bandwidth Memory (HBM) กับ SSD สำหรับระบบ AI inference โดยใช้ NAND แบบซ้อนหลายชั้น ความจุสูงสุด 512GB ต่อแพ็กเกจ และแบนด์วิดท์เป้าหมายระดับเทราไบต์ต่อวินาที เพื่อให้ GPU เข้าถึงโมเดลขนาดใหญ่ใกล้ตัวมากขึ้น ลดคอขวดจากการดึงข้อมูลจาก SSD แบบเดิม และเติมช่องว่างระหว่างความเร็วของ DRAM กับความจุของสตอเรจถาวรอย่างเจาะจง จุดตั้งต้นสำคัญคือการที่ SK hynix และ SanDiskร่วมกันเปิดตัวสเปก HBF เป็นมาตรฐานแบบเปิดผ่านโครงการ Open Compute Project เพื่อให้ผู้เล่นฝั่งฮาร์ดแวร์รายอื่นเข้าร่วมพัฒนาได้โดยไม่ถูกล็อกในเทคโนโลยีเฉพาะราย นี่ไม่ใช่ผลิตภัณฑ์เดี่ยว แต่เป็นการปูโครงสร้างพื้นฐานใหม่ให้โลก AI ใช้แฟลชเป็นหน่วยความจำใกล้การคำนวณมากขึ้น แทนที่จะจำกัดบทบาทไว้แค่เป็น SSD ปลายทางอย่างที่ผ่านมา
สเปก 512GB และ 3TB/s: หมายความว่าอย่างไรต่อ AI inference
หัวใจของ High Bandwidth Flash standard อยู่ที่การดัน NAND ให้ขึ้นมาเล่นในสนามแบนด์วิดธ์ระดับใกล้ HBM โดยสเปกชุดแรกกำหนดให้แพ็กเกจ HBF มีความจุได้ถึง 512GB ด้วยการซ้อน NAND die แบบ 8-Hi หรือ 16-Hi และแบ่งเกรดแบนด์วิดธ์ตั้งแต่ประมาณ 0.4TB/s ไปจนถึง 3TB/s ต่อระบบ สำหรับงาน AI inference ตัวเลขเหล่านี้ไม่ใช่แค่ “เร็วขึ้น” แต่คือการเปลี่ยนสมมติฐานว่าต้องเลือกอย่างใดอย่างหนึ่งระหว่างความเร็วกับความจุ ในโลกโมเดลขนาด 500 พันล้านพารามิเตอร์ที่ต้องการพื้นที่เก็บประมาณ 500GB การยัดทั้งหมดลงใน HBM นั้นเกินงบของแทบทุกองค์กร การให้ HBMรับหน้าที่ทำงานส่วนที่กำลังคำนวณ และใช้ HBF เป็นที่พักโมเดลเต็มชุดใกล้ GPU คือแนวคิดที่ใช้งานได้จริงมากกว่า คำพูดที่ควรจำคือ “สเปก HBF ชุดบนสุดมีแบนด์วิดธ์ 3TB/s ซึ่งมากกว่า HBM4 stack เดี่ยวที่ประมาณ 2TB/s” แม้จะยังแพ้เรื่อง latency แต่ก็ยกระดับ NAND ขึ้นมาเป็นหน่วยความจำสำหรับ inference อย่างเต็มตัว.
16-Hi NAND และ UCIe: การออกแบบที่ขยับ NAND เข้าหา GPU
เบื้องหลังตัวเลขแบนด์วิดธ์ 3TB/s ที่หลายคนโฟกัส คือการออกแบบ NAND ให้เป็น “HBF core dies” ที่ไม่ใช่ 3D NAND ทั่วไป แต่เป็นชิปแฟลชที่มีอินเทอร์เฟซเร็วและมีเส้นทางอ่านเขียนจำนวนมากให้เข้าถึงหลาย array พร้อมกัน การซ้อน 16-Hi NAND ทำให้แพ็กเกจเดียวอัดทั้งความจุและช่องสัญญาณ I/O ได้มาก เมื่อจับคู่กับอินเทอร์เฟซ UCIe ที่สามารถให้แบนด์วิดธ์มากกว่า 400GB/s ต่อแพ็กเกจผ่านเลน 64 เส้นที่สปีดสูงสุด 64GT/s แนวคิด “สตอเรจใกล้ GPU” ก็ไม่ใช่คำโฆษณาอีกต่อไป สิ่งที่น่าสนใจคือ HBFไม่ได้พยายามแทนที่ HBM แต่ขยับเข้ามาใกล้บทบาท “GPU memory extension” มากขึ้น สเปกยังวางเกณฑ์ไฟฟ้า การแพ็กเกจ และข้อกำหนดซอฟต์แวร์ I/O เพื่อให้ CPU และ GPU หลากหลายค่ายเชื่อมต่อ HBF ได้ผ่าน UCIe แบบแพลตฟอร์มผสมผสาน นี่คือการขยายขอบเขตระหว่างหน่วยความจำกับสตอเรจอย่างที่ SK hynix ระบุชัดว่าต้องการจะทำ.
ตอบโจทย์ AI inference bottleneck แต่ยังอยู่ในมือโครงสร้างพื้นฐานองค์กร
แรงผลักดันที่ทำให้ High Bandwidth Flash standard ถือกำเนิด คือคอขวด AI inference bottleneck ระหว่างความเร็วของ HBM กับ SSD แบบองค์กรที่ต่างกันคนละโลก โมเดล AI ยิ่งใหญ่ การดึงพารามิเตอร์จาก SSD เข้าสู่ GPU ผ่านระบบ I/O แบบเดิมยิ่งเป็นจุดอ่อน แม้จะเพิ่ม HBMก็ชนกำแพงความจุ และต้นทุนที่สูงอย่างต่อเนื่อง การเพิ่มชั้น HBF ที่ใช้ NAND ไม่ลบข้อเสีย latency ของแฟลช แต่ลดช่องว่างด้านแบนด์วิดธ์และใกล้ตัว GPU จนเหมาะกับงาน inference ที่เน้นอ่านโมเดลจำนวนมากแบบสุ่ม อย่างไรก็ดี สเปก HBF ยังอยู่ในขั้นกำหนดรายละเอียดภายใต้โครงการมาตรฐานเปิด และยังไม่ได้ถูกประกาศอย่างเป็นทางการโดย OCP เต็มรูปแบบ การนำมาใช้จึงยังจำกัดในระดับโครงสร้างพื้นฐาน AI ขององค์กรที่พร้อมทดลองและลงทุน การที่ผู้ผลิตรายใหญ่หลายรายยังไม่แสดงตัวเข้าร่วม consortium ทำให้ภาพอนาคตยังเปราะบาง อยู่ที่ว่าชุมชนฮาร์ดแวร์จะมอง HBF เป็นชั้นหน่วยความจำจำเป็น หรือเป็นเพียงหนึ่งในตัวเลือกเฉพาะทางสำหรับศูนย์ข้อมูลบางกลุ่มเท่านั้น.
บทสรุป: HBF คือสัญญาว่าจะทำให้สตอเรจไม่ใช่ตัวถ่วง AI อีกต่อไป
ถ้ามองภาพใหญ่ High Bandwidth Flash ไม่ได้บอกเราว่าให้ซื้ออะไรวันนี้ แต่บอกเราว่าสถาปัตยกรรม AI กำลังเปลี่ยนจาก “HBM + SSD” เป็น “HBM + HBF + SSD” อย่างหลีกเลี่ยงไม่ได้ HBF NAND technology ที่ซ้อนหลายชั้น ให้ความจุ 512GB และความเร็วระดับ 3TB/s แสดงให้เห็นชัดว่าฮาร์ดแวร์กำลังยกสตอเรจขึ้นมาเป็นส่วนหนึ่งของ GPU memory extension มากกว่าจะปล่อยให้คอขวดแบนด์วิดธ์ฉุดงาน inference ลง ในมุมผู้วางระบบ วันนี้ HBF ยังเป็นเรื่องของ data center และโครงสร้างพื้นฐาน AI ขององค์กรที่ต้องจัดการโมเดลระดับหลายร้อยพันล้านพารามิเตอร์ แต่ผลกระทบจะไหลลงมาถึงเราเมื่อความคิดเรื่อง “สตอเรจใกล้การคำนวณ” กลายเป็นมาตรฐานใหม่ ถ้าโลก AI ใช้ HBF อย่างแพร่หลาย การปรับแต่งโมเดลขนาดใหญ่ให้ตอบสนองไวขึ้นจะไม่ต้องแลกกับการตัดทอนขนาดโมเดลเท่าเดิม และนั่นคือทิศทางที่ทำให้การพัฒนา AI ในอนาคตเดินหน้าได้โดยไม่ถูกสตอเรจเป็นตัวถ่วงอีกต่อไป.
