韩国科学技术院电气工程学院金正浩教授在首尔举办的"材料、组件和设备未来论坛"上表示,高带宽闪存(HBF)市场规模可能在12年内超越高带宽内存(HBM)市场。
HBF技术发展现状
作为HBF技术的主要推广者,金正浩教授透露了该技术的最新进展。据《时事杂志》报道,他表示:"三星电子和SanDisk计划在明年底或2028年初将HBF技术集成到英伟达、AMD和谷歌的产品中。"
HBF技术架构设计
金正浩教授构想了一个分层存储架构:高带宽内存作为GPU加速器的超高速数据缓存层,HBF作为中间层为HBM提供数据,而速度较慢但容量更大的网络SSD存储为HBF层提供数据支持。
英伟达已经发布了推理上下文内存存储平台(ICMSP),其Dynamo和NIXL软件为AI推理Token提供管理内存空间,这些Token存储在覆盖HBM和BlueField-4连接SSD的KV缓存中。直观上,同样的双层软件可以扩展到覆盖HBM到HBF再到BlueField-4连接SSD的三层架构。
网络化外部存储将连接到BlueField-4 SSD层,为GPU提供清晰的数据路径,无需通过主机X86处理器及其DRAM进行转换。
技术规格与制造挑战
这位KAIST教授讨论了容量为512GB、带宽为1.638TBps的HBF单元。这个容量可与2Tb(250GB)3D NAND芯片相比,比如SK海力士使用321层三串3D NAND技术制造的芯片。只需堆叠两个这样的芯片就能创建512GB容量的HBF芯片。
这种双层芯片总共包含642层3D NAND,分布在六个组件串中,制造时需要确保上层不会使下层变形。
SK海力士正在使用HBF技术开发AIN B NAND产品。概念图显示四个NAND核心层堆叠在基础/逻辑芯片之上,该芯片连接到中介单元,将整个堆栈连接到主机处理器。
来自SK海力士和SanDisk的HBF图表显示,HBM堆栈中的上层通过硅通孔(TSV)或插头(垂直电子连接)连接到下层的基础/逻辑芯片。
这意味着下层堆栈必须制造时就包含通过它的TSV或插头,不能是标准的3D NAND芯片。芯片面积必须更大以容纳TSV/插头。向HBF单元添加更多3D NAND芯片堆栈意味着需要在下层堆栈中添加更多TSV或插头,进一步增加其尺寸。
市场前景与产业布局
金正浩表示,HBF技术可能在HBM6时代获得更广泛的采用,届时HBM可能由多个互连的独立堆栈组成,而不是单一堆栈。他预测到2038年HBF市场规模将超过HBM。
SK海力士预计本月晚些时候将展示HBF原型版本。SK海力士和SanDisk正在推动HBF标准化,据DigiTimes报道,三星也已加入,签署了谅解备忘录并成立了联盟。产品预计最早在2027年推出。
铠侠在去年8月展示了5TB HBF模块原型,使用PCIe gen 6 x 8接口连接主机,运行速度为64Gbps。
目前美光尚未就HBF技术发表声明,英伟达和AMD也没有相关表态,但有几位谷歌工程师讨论过这项技术。
Q&A
Q1:高带宽闪存HBF技术是什么?它有什么优势?
A:高带宽闪存(HBF)是一种新型存储技术,可以提供512GB容量和1.638TBps带宽。它在存储架构中作为中间层,为高带宽内存HBM提供数据支持,同时从网络SSD存储获取数据,形成分层存储体系,能够显著提升数据处理效率。
Q2:HBF技术什么时候能够商用?哪些公司在开发?
A:HBF技术预计最早在2027年推出商用产品。目前SK海力士、SanDisk和三星都在积极开发这项技术,它们已经签署谅解备忘录并成立联盟推动标准化。SK海力士预计本月展示原型,三星和SanDisk计划在2025年底或2028年初集成到英伟达、AMD和谷歌的产品中。
Q3:HBF市场前景如何?会超越HBM吗?
A:据韩国科学技术院金正浩教授预测,HBF市场规模可能在12年内(到2038年)超越高带宽内存HBM市场。特别是在HBM6时代,当HBM采用多个互连独立堆栈架构时,HBF技术将获得更广泛的采用,市场潜力巨大。