国泰海通|电子:打破内存墙限制,AI SSD迎来广阔成长空间——详尽分析
一、元数据与报告概览
- 报告标题:打破内存墙限制,AI SSD迎来广阔成长空间
- 发布机构:国泰海通证券
- 报告日期:2025年10月27日
- 报告作者:舒迪、郦奕滢(分析师)
- 报告类型:行业研究报告,聚焦AI大语言模型推理中的存储需求与技术革新
- 核心主题:围绕大语言模型(LLM)推理阶段因“内存墙”产生的存储压力及相应的基于SSD的存储卸载解决方案展开,展望AI驱动下的存储设备市场特别是SSD的广阔成长空间。
核心论点与投资评级
- LLM推理过程中因为KV Cache容量增长远超传统GPU HBM容量,造成显存瓶颈,导致推理性能受限。
- 通过将KV Cache缓存从GPU内存卸载(offload)至CPU内存、SSD乃至网络存储,解决传统显存存储压力,实现推理效率的大幅提升。
- 随AI推理需求爆发,传统Nearline HDD市场出现供应短缺,促使容量大、性能高但造价较高的SSD成为市场焦点。
- 报告给予整个电子存储行业“增持”评级,随AI对高性能大容量存储的需求持续,估计SSD特别是Nearline SSD市场将迎来高速成长。
- 风险提示包括国产替代进度不及预期及核心技术迭代速度不达预期所带来的不确定性。,1]
二、逐节深度解读
2.1 行业观点及投资建议
报告首先点明AI大语言模型技术—尤其是推理阶段面临的“内存墙”问题,即模型推理需要大量 KV Cache 缓存临时存储Key和Value向量,而GPU中高带宽显存(HBM)容量有限,常出现超载问题。随着生成文本长度和对话轮次增加,KV Cache容量急剧上升,传统推理架构面临严重瓶颈。
投资建议层面,报告认为:
- KV Cache的扩展需求已超出HBM承载能力,传统GPU显存无法满足,导向三级存储架构需求的兴起。
- 存储卸载(offload)技术,特别是GPU显存向CPU、SSD迁移缓存,是实现高效推理的关键技术路径。
- HDD因供应短缺难以满足需求,市场加速向高性能SSD转移,特别是超大容量Nearline SSD。
- 建议投资者增持该领域相关企业,重点关注NAND Flash供给端的扩张与技术升级。
2.2 KV Cache容量挑战及推理瓶颈
- KV Cache定义及功能:键值缓存将已生成token的Key/Value对存储在GPU及相关内存中,避免生成新token时重复计算,极大提升推理速度和效率。
- 随着大语言模型规模攀升(PB级数据量)、长序列输入及多用户多轮对话的普及,KV Cache的容量需求呈爆炸式增长,导致GPU HBM及DRAM频繁溢出,推理过程卡顿等待重计算。
- 这一“内存墙”限制了推理延迟降低和模型规模扩张的空间,亟需创新解决方案缓解显存瓶颈。
2.3 KV Cache缓存的分级卸载技术
- 新兴的分级缓存管理技术实现了KV Cache的多层卸载。
- 典型代表是英伟达5月发布的Dynamo分布式推理框架,可将缓存从GPU内存卸载至CPU主存乃至SSD和远端存储。
- 软件框架KVBM支持G1-G4级缓存卸载(GPU内存、CPU主存、SSD、远端存储),降低重复计算压力
- 三星电子通过基于NVMe SSD的存储卸载技术显著优化推理性能:
- KV Cache超过HBM或DRAM容量时,可将首token延迟(TTFT)降低高达66%,token间延迟(ITL)降低42%。
- 支持多用户、多轮对话中的KV Cache复用,I/O吞吐量随用户及轮次增加平稳上升,读写I/O模式主要是256KB块大小。
2.4 AI存储需求推动市场变革
- AI推理对大容量、实时高速数据访问的需求促使传统以HDD为主的Nearline存储市场结构发生变化。
- HDD市场面临供应缺口,NAND Flash企业加速推出大容量Nearline SSD产品,如122TB、245TB等级容量SSD。
- 这一趋势导致SSD的高性能、高容量产品迅速成为数据中心存储升级的核心硬件。
- 产业链厂商积极布局SSD大容量及高速传输技术,推动存储市场从传统HDD向SSD迁移。
2.5 风险提示
- 国产存储替代进程若低于预期,可能影响国内市场发展节奏。
- 技术迭代未能达到市场或客户的高期望,尤其是存储卸载技术研发进展缓慢,将影响推理效率提升。
- 这些风险可能导致市场成长不及预期或竞争格局变化。
三、图表深度解读
报告原文第一页无具体图表,但包含行业结构、技术方案及市场容量数据的关键描述,不排除全文后续页有图表补充。基于当前内容,关键数据点及演示信息如下:
3.1 性能指标[TTFT与ITL降低百分比]
- TTFT(首token延迟)降低66%:表明通过SSD卸载KV Cache后,首次生成token响应速度显著提升,减少用户或系统等待时间。
- ITL(token间延迟)降低42%:代表连续token生成之间的延时明显缩短,提升整体推理流畅性和效率。
这两个数据点表明SSD卸载技术在大语言模型推理阶段具备较高的效率提升潜力,显著优于传统显存存储架构。
3.2 I/O吞吐量及缓存访问模式
- 多用户多轮对话时,I/O吞吐量平稳增长,表明卸载结构支持高并发访问,适用于实际线上推理场景。
- 256KB的读写块大小说明缓存访问主要以大块顺序读写为主,这有利于SSD性能发挥,减少随机访问带来的开销。
这反映出卸载方案在具体存储结构和访问模式层面经过优化,兼顾性能和稳定性。
四、估值分析
报告作为行业技术及趋势研究,未明确涉及具体公司或产品的估值模型,没有体现DCF、EV/EBITDA、P/E等传统估值指标。但其投资观点基于:
- AI推理需求引发的大容量高速存储的成长空间
- HDD替代趋势下SSD市场的供需失衡及价格优势
- 技术优势和市场先发者的竞争力,尤其关注NAND Flash供给端扩展能力
因此,估值逻辑隐含于“行业成长性与技术领先优势带来的市场空间扩张”,并据以“增持”评级,暗示看好行业龙头的资本增值潜力。
五、风险因素评估
- 国产替代进程不及预期:如国产存储设备和核心技术未能迅速覆盖市场需求,可能导致技术依赖和供应链脆弱,加大行业发展不确定性。
- 技术迭代未达预期:KV Cache卸载等关键技术若研发和应用进度迟缓,将限制推理效率提升,影响AI应用落地和市场扩容。
- 市场供应链风险:未直接点明,但HDD供应短缺暗示整体存储供应链紧张可能成为潜在风险。
报告未明确给出具体缓解策略,仅做出提示,提醒投资者关注技术和国产化进展带来的不确定性。
六、批判性视角与细微差别
- 报告多次强调SSD替代HDD的趋势,且推理阶段基于SSD卸载实现性能飞跃,但未详细披露不同存储介质成本差异对整体系统经济效益的评估,需关注成本与性能平衡问题。
- 报告对英伟达和三星典型方案介绍较多,表明受其技术对行业影响主导,但未涉及其他竞争对手的技术路径,略显单一视角。
- 风险提示较为简略,未覆盖供应链波动、国际贸易政策等外部风险,对整个存储产业链的更宏观风险评估欠缺。
- 文中提及的性能提升主要基于厂商测试数据,实际商业应用中的稳定性、兼容性及规模扩展能力仍有待市场验证。
- 报告半定量语言较多,缺乏详尽的数值模型说明和市场容量预测,投资者需结合其他数据谨慎参考。,1]
七、结论性综合
该报告系统分析了当前大语言模型推理阶段存在的“内存墙”瓶颈,指出KV Cache容量的爆炸式增长已超过GPU HBM和DRAM的承载极限,严重制约推理效率和AI模型规模的提升。基于此,报告提出通过分层缓存管理技术及基于SSD的存储卸载方案,缓解GPU显存瓶颈,显著降低推理延迟(TTFT最高降低66%,ITL最高降低42%),支持高并发、多轮对话的实际AI应用场景。此外,AI推理带来的海量数据访问需求刺激存储市场结构转变,传统Nearline HDD面临供不应求困境,推动NAND Flash企业加快大容量Nearline SSD的研发与供给,典型容量已达122TB甚至245TB级别。
报告基于上述技术进展和市场需求驱动,给予电子存储行业“增持”评级,强调SSD在AI领域的成长潜力,同时提醒投资者关注国产替代进度与核心技术研发进展的不确定性。
整体来看,该报告逻辑严谨,重点突出,结合前沿技术案例与市场供需状态,清楚阐述了AI时代存储升级的必要路径及投资价值。图表中体现的性能提升指标和I/O模式亦有效佐证了文本论断,增强说服力。投资者可重点关注存储方案的技术创新和行业供应链动态。,1]
参考文献
国泰海通证券《打破内存墙限制,AI SSD迎来广阔成长空间》,2025年10月27日,舒迪、郦奕滢,1]