HBF คืออะไร และทำไมมันถึงสำคัญกับยุค AI inference
High Bandwidth Flash (HBF) คือมาตรฐานแฟลชความเร็วสูงที่ออกแบบให้เป็นชั้นจัดเก็บข้อมูลระหว่าง DRAM แบนด์วิดท์สูงกับ SSD องค์กร เพื่อแยกเก็บน้ำหนักโมเดล AI ปริมาณมหาศาลออกจากหน่วยความจำ HBM ราคาแพง ช่วยแก้คอขวดแบนด์วิดท์และลดต้นทุนการทำ AI inference ในดาต้าเซ็นเตอร์โดยยังคงให้ตัวเร่ง AI เข้าถึงโมเดลขนาดใหญ่ได้ใกล้กับตัวประมวลผลมากขึ้น. หัวใจสำคัญคือมุมมองใหม่ต่อ “หน่วยความจำ AI inference” ที่ไม่พยายามบังคับให้ทุกอย่างต้องอยู่บน HBM อีกต่อไป แต่แบ่งหน้าที่อย่างชัดเจน: HBF รองรับการอ่านน้ำหนักโมเดล ส่วน HBM ถูกกันไว้สำหรับงาน KV cache ที่ไวต่อเวลาและต้องเขียนบ่อย. แนวคิดนี้ไม่ใช่การทดแทน HBM แต่เป็นการลดการพึ่งพา HBM ลงอย่างมีเหตุผล.
สถาปัตยกรรมภายใน HBF: NAND ช้าแต่แบนด์วิดท์สูงกว่า HBM4 หลายระดับ
จุดพลิกเกมของ HBF อยู่ที่การใช้ NAND flash จัดเรียงซ้อนหลายชั้นแทน DRAM แบบ HBM แล้วดันแบนด์วิดท์ขึ้นด้วยพลังของความขนาน แพ็กเกจ HBF ซ้อน NAND dies 8 หรือ 16 ชั้นต่อกอง โดยเชื่อมต่อกันผ่าน Through Silicon Vias (TSVs) และมี logic die ควบคุมติดอยู่กับอาร์เรย์ NAND นี้. ตามสเปกแรกที่กำลังเผยแพร่ HBF รองรับความจุสูงสุด 512GB ต่อแพ็กเกจ และแบ่งระดับประสิทธิภาพตั้งแต่ประมาณ 0.4TB/s ถึง 3TB/s สำหรับงานอ่าน. แม้แต่ละเซลล์ NAND จะอ่านช้ากว่า DRAM ถึงราว 1,000 เท่า แต่ logic die ของ HBF จะจัดตารางอ่านเซลล์จำนวนหลายพันจุดพร้อมกัน ทำให้แบนด์วิดท์อ่านรวมของชุด HBF อยู่ในช่วง 0.3–3TB/s ขณะที่ HBM4 ตามสเปก JEDEC ให้แบนด์วิดท์แค่ราว 6.4GB/s เท่านั้น. นี่คือจุดที่ HBF กลายเป็น “HBM memory alternative” สำหรับงานอ่านข้อมูลปริมาณมาก โดยเฉพาะน้ำหนักโมเดล แม้จะยังแพ้ HBM เรื่อง latency และความทนทานการเขียน.
| สเปก | HBM4 (JEDEC) | HBF |
|---|---|---|
| ประเภทสื่อ | DRAM | NAND flash |
| รูปแบบการจัดวาง | ซ้อนชิป DRAM พร้อม TSV | ซ้อน NAND 8–16 die พร้อม TSV |
| แบนด์วิดท์อ่านโดยประมาณ | ≈6.4GB/s | ≈0.4–3TB/s ต่อแพ็กเกจ |
| ความจุสูงสุดต่อแพ็กเกจ | 36–48GB สำหรับสแตก 12-Hi/16-Hi | 512GB |
| จุดอ่อนหลัก | ขนาดจำกัด ต้นทุนสูง | latency สูง เขียนช้า ทนการเขียนจำกัด |
จากกำแพงหน่วยความจำสู่สถาปัตยกรรมสองราง: HBF สำหรับน้ำหนักโมเดล HBM สำหรับ KV cache
ปัญหาใหญ่ของการทำ AI inference ในดาต้าเซ็นเตอร์คือกำแพงหน่วยความจำของ HBM เมื่อโมเดลมีพารามิเตอร์ระดับแสนล้าน น้ำหนักโมเดลที่ต้องเก็บอาจกินพื้นที่ HBM ไปแล้วหลายร้อย GB ยังไม่นับ KV cache ที่ต้องอยู่บน HBM เพื่อรองรับการอ่าน–เขียนบ่อยครั้งที่ไวต่อเวลา. เมื่อสแตก HBM4 ทั่วไปมีความจุ 36GB และสแตก 16-Hi ทำได้ 48GB การขยายความจำมักหมายถึงการเพิ่มจำนวน GPU ซึ่งฉุดต้นทุนให้พุ่งสูง. มาตรฐาน HBF ที่ SK hynix ร่วมกับ SanDisk พัฒนาจึงเสนอ “สถาปัตยกรรมหน่วยความจำสองราง” อย่างชัดเจน: รางแรกคือ HBF สำหรับน้ำหนักโมเดลที่เขียนไม่บ่อยและต้องการแบนด์วิดท์อ่านสูง รางที่สองคือ HBM ซึ่งสงวนไว้ใช้กับ KV cache และการคำนวณที่ไวต่อเวลา. "HBF สามารถเสนแบนด์วิดท์อ่านสูงกว่ามาตรฐาน JEDEC HBM4 หลายระดับ แต่ยังมีข้อเสียด้านความทนทานการเขียน". เมื่อย้ายน้ำหนักโมเดลไปเก็บบน HBF HBM ก็ถูกปลดล็อกให้รองรับ KV cache ขนาดใหญ่กว่า เปิดทางให้โมเดลมี context ยาวขึ้นโดยไม่ลดคุณภาพผลลัพธ์.
HBF ในฐานะชั้นจัดเก็บต้นทุนต่ำระหว่าง DRAM และ SSD สำหรับดาต้าเซ็นเตอร์
สิ่งที่ทำให้ HBF น่าสนใจสำหรับดาต้าเซ็นเตอร์ไม่ใช่แค่แบนด์วิดท์ แต่คือบทบาทใหม่ของมันในสถาปัตยกรรมหน่วยความจำ HBF ถูกออกแบบให้เป็นชั้นจัดเก็บแบบเน้นความจุระหว่าง DRAM แบนด์วิดท์สูงกับ NVMe SSD ทั่วไป โดยใช้ NAND stacks ความจุสูงเพื่อให้ความจุต่อ GB ดีกว่า HBM อย่างมีนัยสำคัญ. สเปกเปิดของ HBF รองรับความจุ 512GB ต่อแพ็กเกจและระดับแบนด์วิดท์ประมาณ 0.4–3TB/s พร้อมใช้มาตรฐาน UCIe เชื่อมต่อกับ CPU, GPU และโปรเซสเซอร์อื่น ๆ แทนการใช้การเชื่อมต่อเฉพาะค่าย. ผลเชิงปฏิบัติคือเร่งให้ตัวเร่ง AI สามารถเก็บโมเดลขนาดยักษ์ ฐานข้อมูล และชุด KV cache ใกล้กับตัวโปรเซสเซอร์มากขึ้น โดยมีชั้น "HBF storage standard" คั่นกลางระหว่าง DRAM และ storage ช้าอย่าง SSD. แม้ HBF จะยังต้องใช้แพ็กเกจขั้นสูงและไม่ถูกเท่า SSD แต่ข้อมูลชี้ว่า HBF มีโอกาสถูกกว่า HBM อย่างมาก ซึ่งเปิดทางให้เกิดเศรษฐศาสตร์ขนาดใหม่ในดาต้าเซ็นเตอร์. การผลักดันผ่านโครงการมาตรฐานเปิดที่มีผู้เล่นอย่าง Google และ Tenstorrent เข้าร่วม แสดงให้เห็นว่าระบบนิเวศนี้มีแนวโน้มกลายเป็นมาตรฐานใหม่ด้าน "data center storage" รอบตัวเร่ง AI.
สเปกเปิด HBF และทิศทางอนาคตของหน่วยความจำ AI inference
การประกาศเตรียมเผยแพร่สเปกเปิดของ HBF ที่งาน FMS 2026 คือสัญญาณชัดเจนว่าหน่วยความจำสำหรับ AI inference กำลังเปลี่ยนทิศทาง สเปกนี้กำหนดคอนฟิก NAND แบบ 8-die และ 16-die ที่รองรับความจุสูงสุด 512GB พร้อมระดับแบนด์วิดท์ประมาณ 0.4–3TB/s และใช้อินเทอร์เฟซ UCIe ในการสื่อสารกับโปรเซสเซอร์ทุกประเภท. การออกสเปกผ่านองค์กรมาตรฐานเปิดทำให้บรรดาผู้ผลิตชิปและระบบสามารถพัฒนาโซลูชันที่เข้ากันได้บนพื้นฐานเดียวกัน ช่วยเร่งการสร้างระบบนิเวศ HBF รอบตัวเร่ง AI. ในอีกด้าน หน่วยความจำ NAND รุ่นใหม่ เช่น 4D NAND ชั้นที่สิบ ที่มีความหนาแน่นถึง 375 ชั้นและให้ประสิทธิภาพต่อวัตต์ดีขึ้น 2.5 เท่าจากรุ่นก่อน ถูกวางแผนจะนำไปใช้ผลิต SSD องค์กรตั้งแต่ช่วงต้นปี 2027. "เทคโนโลยี HBF อาจสร้าง NAND มาตรฐานใหม่ที่เทียบเท่าระบบหน่วยความจำซ้อนที่โอบล้อมตัวเร่ง AI ในปัจจุบัน". เมื่อรวมกับสถาปัตยกรรมสองรางที่แบ่งน้ำหนักโมเดลไปอยู่ HBF และสงวน HBM สำหรับ KV cache เรากำลังเห็นการออกแบบหน่วยความจำ AI inference รุ่นถัดไปที่เน้นทั้งประสิทธิภาพและต้นทุนอย่างสมดุล.
