中信证券:从DeepSeek算力需求看五大硬件受益方向
创始人
2025-02-16 17:03:07

文|徐涛 杨泽原 雷俊成 王子源 夏胤磊 程子盈中信证券研究

DeepSeek通过工程化能力创新,实现了大模型训练和推理算力成本的极致优化,也为端侧部署高性能模型提供新的方向。本篇报告我们通过分析DeepSeek V3和R1模型论文,理解其核心逻辑是“按需分配算力,最小化冗余计算”,使得千亿级模型在低成本硬件(甚至边缘设备)上高效运行成为可能,为大规模商业化落地提供了技术基础。我们看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地:建议核心关注晶圆代工、国产算力芯片、定制化存储、终端品牌、SoC五大方向。

DeepSeek如何实现的训练成本降低?

1)架构创新:DeepSeek-V3的基础架构中采用了DeepSeekMoE专家架构和MLA多头潜在注意力机制,DeepSeekMoE通过细粒度专家分配、共享专家及无辅助损失负载均衡策略优化传统MoE,提升计算资源效率;MLA通过低秩联合压缩减少注意力键值缓存占用,提升计算效率、减少内存消耗。

2)FP8混合精度训练:在全球主流大模型中率先采用FP8低精度数据进行大规模训练,大部分核心计算用FP8提升速度、降低内存用量,部分关键操作保留高精度确保动态稳定性。

3)训练工程优化:DeepSeek在主流大模型中率先采用硬盘充当输入端缓存,设计DualPipe算法实现高效流水线并行,融合前后向通信阶段,减少阻塞;采用定制化高效跨节点all-to-all通信内核降低通信开销;通过重计算、EMA、共享向量和输出头减少内存占用。

4)数据策略优化:应用多token预测机制MTP,增加训练信号密度,减少20%训练迭代次数,帮助模型捕捉长距离依赖关系。

DeepSeek如何实现的推理成本降低?

DeepSeek-V3对推理的预填充和解码两个阶段都优化了专家使用效率:预填充阶段MoE用EP32及冗余专家策略提升效率,解码阶段探索动态路由减少通信开销;还通过支持FP8、INT8量化和提供蒸馏版本,实现低精度量化与模型压缩,减少显存占用。DeepSeek的开源生态可以更好支持硬件厂商适配,例如可以对MLA算子优化提升推理效率,DeepSeek-R1发布后国内外芯片厂商快速响应支持DeepSeek。1月25日,AMD宣布已将新的DeepSeek-V3集成到Instinct MI300X GPU上并经过SGLang对推理过程进行了优化,英伟达、英特尔也随后在1月31日官宣支持。国内厂商都已经官宣完成对DeepSeek的适配,国产算力成为相对稳定可靠的选项,支撑国产大模型从研发走向商业化。

从DeepSeek算力需求看AI芯片设计方向?

DeepSeek 在论文的芯片设计意见指导中指出通信和计算同等重要,计算方面降低精度和内存需求是关键。在通信硬件优化上,DeepSeek建议开发独立通信协处理器,实现计算与通信物理分离,同时建议融合网络架构,统一IB和 NVLink的网络协议栈,统一通信接口以简化编程复杂度和降低通信延迟;在计算硬件优化上,建议提升 FP8 计算精度,并支持分块量化与在线量化,减少访存开销,提升推理效率。我们认为DeepSeek建议带来两点启示:

1)“推理速度”基本90%是由decoding阶段决定的,因此内存容量决定大模型推理速度,我们认为内存升级仍是算力芯片升级的重点方向,看好近存计算发展。

2)我们认为在模型开源的策略下,DeepSeek-R1蒸馏后的小模型性能有望持续快速提升,帮助端侧硬件加速接入,助力AI应用全面落地。我们看好品牌商和SoC芯片厂商的成长机遇。

风险因素:

算力芯片供应链风险;芯片产能供给不足的风险;互联网大厂资本开支不及预期;相关产业政策出台力度不及预期;AI技术及应用发展不及预期;芯片技术迭代不及预期;国产先进制程量产进展不及预期;行业竞争加剧等。

投资策略:

我们看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地:

1)云端:DeepSeek有望开启全新的Scaling Law,模型重心逐步从预训练切换到强化学习、推理阶段,助力算力需求持续增长。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

万芯瞳申请可拆卸镜腿接口组件专... 国家知识产权局信息显示,深圳市万芯瞳科技有限公司申请一项名为“可拆卸镜腿接口组件、接头组件、可拆卸镜...
625亿“国补”落地,以旧换新... 昨天是春节假期的第一天,商务部联合9部门策划的“乐购新春”春节特别活动也在昨天正式启动了,首批625...
兴业基金总经理李辉:务实奋进共... 蛇衔旧岁去,马踏春风来。值此丙午新春来临之际,我谨代表兴业基金全体同仁,向一直信任并陪伴我们的广大投...
原创 对... 节前,中国发布了最后两个重磅举措,分别是对非洲免税以及对英国和加拿大免签。第一个消息是在农历新年之前...
原创 马... 最近科技圈又出了一个大动作,马斯克的星链,正式拿到了越南的“入场券”,马上就要在越南全面铺开卫星互联...
消息称苹果平价版MacBook... IT之家 2 月 15 日消息,彭博社记者马克 · 古尔曼今天在最新一期《Power On》通讯中表...
【电波警戒线③】快速排除干扰 ... 极目新闻通讯员 杨雨梅 胡敏 【编者按】当数字浪潮席卷全球,电磁频谱作为国家战略资源的地位愈发凸显,...
1月金融数据“开门红” M2余... 1月是银行拼抢“开门红”的信贷投放大月,当月金融数据成色也是开年经济运行情况的晴雨表。中国人民银行2...
【华泰宏观 | 图解国内周报】... 来源:华泰证券宏观研究 核心观点 一周 一周概览农历春节对齐后的高频数据显示,春运前12天人员流动量...
原创 人... 来自美国的一项研究揭示了一个令人深思的现象:当一个人的心脏停止跳动后,大脑竟然会继续运作。这一发现引...