在AI推理过程中★✿,为了避免重复计算★✿、提升响应速度波肖门尾图★✿,系统会使用 KV缓存机制★✿,类似于AI模型的“短期记忆”★✿,但随着上下文长度的爆炸式增长★✿,昂贵的HBM早已不堪重负★✿。
为了解决这一瓶颈★✿,NVIDIA在宣布推出由BlueField-4 DPU驱动的ICMS平台★✿,该平台建立了一个名为G3.5的全新存储层级★✿:将原本挤在HBM中的KV缓存放到可扩展性更强的本地 SSD中凯发K8首页★✿。
得益于此★✿,NVIDIA能够明显提升推理速度★✿,最高可达5倍凯发K8首页★✿,同时能源效率提升高达5倍凯发K8首页★✿,延迟也大幅降低★✿。
花旗预计★✿,为了支持ICMS运作★✿,在一套Vera Rubin NVL72 AI配置中★✿,NVIDIA将为每个机架配置最多16TB的额外存储★✿,总体SSD容量达到约1152TB凯发K8首页★✿。
根据市场预测★✿,Vera Rubin服务器在2026年的出货量预计为3万台★✿,2027年将达到10万台★✿。
这意味着2026年由此产生的额外NAND需求将达到3456万TB★✿,占全球总需求2.8%★✿,到2027年需求将飙升至1.15亿TB★✿,占全球NAND总需求的9.3%★✿。
而且花旗的分析仅基于Vera Rubin平台凯发K8首页★✿,并未考虑更高规格的Rubin Ultra系统波肖门尾图★✿,也未纳入后续Feynman架构可能带来的新增需求★✿,这意味着实际NAND需求增长可能比目前预测的更为显著★✿。
花旗认为凯发K8首页★✿,NVIDIA采用ICMS技术凯发K8首页★✿,将成为NAND供应商的积极催化剂凯发K8首页★✿,三星波肖门尾图★✿、SK海力士★✿、铠侠★✿、西部数据及美光将成为最大受益者★✿。AG凯发K8真人娱乐平台★✿,今日头条★✿,