本报告深入分析了DeepSeek团队在模型推理领域的创新,包括多头潜在注意力机制(MLA)与原生稀疏注意力机制(NSA)两大核心技术,结合硬件工程优化策略(如Prefill/Decode分离及高专家并行度方案),显著提升推理效率与硬件资源利用率。同时,分布式集群推理趋势带动以太网设备需求增长,国产算力链快速适配DeepSeek生态,云端大规模推理硬件需求迅速释放,对下游市场构成强力拉动。
核心论点:
该报告通过深入剖析DeepSeek在推理模型和硬件架构上的创新细节,紧密联系推理市场需求的演变,提出分布式推理硬件及国产算力产业迎来重大发展机遇的判断。,1,11,12]
该机制解决了生成式AI长文本推理中的计算瓶颈问题,极大提高推理效率和内存使用率。,4]
风险清晰指出未来创新及投入的双重挑战,具有预警意义。,13,14]
图表1(MHA、GQA、MQA、MLA对比)(page 1)
该图显示四种注意力机制中KV、Key、Value、Query的结构差异。MHA全量保存所有Key和Value,内存消耗最大;GQA与MQA通过压缩Key/Value规模减少资源,但牺牲性能;MLA创新存储低秩投影,极少存储但可动态重构,解决了MHA的存储瓶颈。
图表2(DeepSeek MLA实现流程)(page 2)
细致展示输入隐空间向量如何通过concat及RoPE应用,组合生成Query、Key、Value,实现动态KV重构与缓存优化,说明MLA机制底层原理。
图表3(MoE 模型不同注意力机制表现比较)(page 2)
实测对比MLA较MHA优化了推理性能和效率,充分验证MLA的实际应用价值和技术先进性。
图表4-6(NSA机制及性能表现)(page 3-4)
图表8(Prefill/Decode吞吐与BatchSize关系)(page 5)
描绘Prefill阶段吞吐迅速达到峰值与Decode阶段多受序列长度影响性能瓶颈,体现分离策略合理性。
图表9-10(Tensor Parallel与Expert Parallel部署示意图)(page 6-7)
清晰具象化说明DeepSeek大模型如何通过张量和专家并行拆分任务,高效利用分布式GPU资源。
图表11-12(推理显存需求与专家并行度对比)(page 7-8)
展示随着专家并行度增加及模型参数规模大幅攀升,单卡显存需求紧张,驱动分布式集群架构必要性。
图表13-14(英伟达超节点性能提升及ETH-64吞吐提升)(page 9)
NVL72超节点单卡推理速度是传统HGX H100的约30倍,ETH-64系统单GPU吞吐量提升30%,突出scale-up网络对推理性能和效率的决定性影响。
图表15-16(InfiniBand与以太网在TOP100/500的占比趋势)(page 10-11)
表现以太网市场占有率快速增长趋势,InfiniBand份额下降,表明以太网已具备挑战传统高性能互联的实力。
图表17(推理硬件需求逻辑流程图)(page 11)
系统化展示MLA、NSA、Prefill/Decode分离、高度EP对推理成本下降和需求增长的内在逻辑链条。
图表19-20(国产算力产业链适配情况与服务器性能对比)(page 13)
列举芯片、整机、云端等产业链多维度配套国产方案,加速本土AI算力生态构建与DeepSeek适配。
报告中未直接给出估值模型、目标价或财务预测,但通过对DeepSeek推理硬件的市场需求及规模测算,隐含了:
估值分析主要侧重于产业链需求导向和技术竞争力对应前景的逻辑演绎。
整体报告基于大量技术细节和数据,较为严谨且信息丰富,但未来行业动态变化及技术演进可能带来不同格局,需要持续跟踪。
本报告系统地揭示了DeepSeek在AI推理任务中的关键技术进步与工艺创新,具体表现为:
全文图表细致支撑观点,统一呈现技术路径与市场逻辑的闭环。报告整体立场积极,展望DeepSeek通过软硬协同驱动的推理能力提升,将催生AI推理硬件需求大爆发,助推以太网和国产算力产业格局加速演进。
综上所述,中金报告详细展示了DeepSeek模型与工程创新如何有效唤醒计算资源,推动推理算力市场规模爆发,以及以太网与国产算力产业链借助该浪潮的投资机会,为行业参与者和投资者提供了丰富的技术洞察和市场判断指引。
中金 | AI进化论(2):模型+工程创新持续唤醒算力,DeepSeek撬动推理需求蓝海.pdf