中信证券:从DeepSeek算力需求看五大硬件受益方向
创始人
2025-02-16 17:03:07

文|徐涛 杨泽原 雷俊成 王子源 夏胤磊 程子盈中信证券研究

DeepSeek通过工程化能力创新,实现了大模型训练和推理算力成本的极致优化,也为端侧部署高性能模型提供新的方向。本篇报告我们通过分析DeepSeek V3和R1模型论文,理解其核心逻辑是“按需分配算力,最小化冗余计算”,使得千亿级模型在低成本硬件(甚至边缘设备)上高效运行成为可能,为大规模商业化落地提供了技术基础。我们看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地:建议核心关注晶圆代工、国产算力芯片、定制化存储、终端品牌、SoC五大方向。

DeepSeek如何实现的训练成本降低?

1)架构创新:DeepSeek-V3的基础架构中采用了DeepSeekMoE专家架构和MLA多头潜在注意力机制,DeepSeekMoE通过细粒度专家分配、共享专家及无辅助损失负载均衡策略优化传统MoE,提升计算资源效率;MLA通过低秩联合压缩减少注意力键值缓存占用,提升计算效率、减少内存消耗。

2)FP8混合精度训练:在全球主流大模型中率先采用FP8低精度数据进行大规模训练,大部分核心计算用FP8提升速度、降低内存用量,部分关键操作保留高精度确保动态稳定性。

3)训练工程优化:DeepSeek在主流大模型中率先采用硬盘充当输入端缓存,设计DualPipe算法实现高效流水线并行,融合前后向通信阶段,减少阻塞;采用定制化高效跨节点all-to-all通信内核降低通信开销;通过重计算、EMA、共享向量和输出头减少内存占用。

4)数据策略优化:应用多token预测机制MTP,增加训练信号密度,减少20%训练迭代次数,帮助模型捕捉长距离依赖关系。

DeepSeek如何实现的推理成本降低?

DeepSeek-V3对推理的预填充和解码两个阶段都优化了专家使用效率:预填充阶段MoE用EP32及冗余专家策略提升效率,解码阶段探索动态路由减少通信开销;还通过支持FP8、INT8量化和提供蒸馏版本,实现低精度量化与模型压缩,减少显存占用。DeepSeek的开源生态可以更好支持硬件厂商适配,例如可以对MLA算子优化提升推理效率,DeepSeek-R1发布后国内外芯片厂商快速响应支持DeepSeek。1月25日,AMD宣布已将新的DeepSeek-V3集成到Instinct MI300X GPU上并经过SGLang对推理过程进行了优化,英伟达、英特尔也随后在1月31日官宣支持。国内厂商都已经官宣完成对DeepSeek的适配,国产算力成为相对稳定可靠的选项,支撑国产大模型从研发走向商业化。

从DeepSeek算力需求看AI芯片设计方向?

DeepSeek 在论文的芯片设计意见指导中指出通信和计算同等重要,计算方面降低精度和内存需求是关键。在通信硬件优化上,DeepSeek建议开发独立通信协处理器,实现计算与通信物理分离,同时建议融合网络架构,统一IB和 NVLink的网络协议栈,统一通信接口以简化编程复杂度和降低通信延迟;在计算硬件优化上,建议提升 FP8 计算精度,并支持分块量化与在线量化,减少访存开销,提升推理效率。我们认为DeepSeek建议带来两点启示:

1)“推理速度”基本90%是由decoding阶段决定的,因此内存容量决定大模型推理速度,我们认为内存升级仍是算力芯片升级的重点方向,看好近存计算发展。

2)我们认为在模型开源的策略下,DeepSeek-R1蒸馏后的小模型性能有望持续快速提升,帮助端侧硬件加速接入,助力AI应用全面落地。我们看好品牌商和SoC芯片厂商的成长机遇。

风险因素:

算力芯片供应链风险;芯片产能供给不足的风险;互联网大厂资本开支不及预期;相关产业政策出台力度不及预期;AI技术及应用发展不及预期;芯片技术迭代不及预期;国产先进制程量产进展不及预期;行业竞争加剧等。

投资策略:

我们看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地:

1)云端:DeepSeek有望开启全新的Scaling Law,模型重心逐步从预训练切换到强化学习、推理阶段,助力算力需求持续增长。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

县区科协丨甘泉县科协开展科普大... 为进一步提升青少年科学素养,激发青少年探索科学的兴趣, 5月13日,甘泉县科协特邀市科技馆科普大篷车...
鸿特精密取得成品运载装置专利,... 国家知识产权局信息显示,广东鸿特精密技术(台山)有限公司取得一项名为“一种成品运载装置”的专利,授权...
德祥地产与启源智算签谅解备忘录... 观点网讯:5月15日,德祥地产集团有限公司发布自愿公告,其全资附属公司ITC Strategic H...
苏州益高取得便于安装的车内监控... 国家知识产权局信息显示,苏州益高电动车辆制造有限公司取得一项名为“一种便于安装的车内监控设备”的专利...
广脉科技:算力集成+运营服务+... 广脉科技(920924)于2026年5月15日(星期五)15:00-17:00在全景网举办2025年...
优质空间+百项场景齐发!“河套... 5月14日至16日,2026全球人工智能终端展(WAIDE)暨第七届深圳国际人工智能展览会(GAIE...
上海划设无人机飞行体验区 已有... 中新网上海5月15日电 (记者 李姝徵)面对低空安全“强治理”的要求,如何平衡无人机“管”与“放”的...
AI时代强网赋能!湖南移动宣布... 5月15日,记者从湖南移动“数智赋新能,移跃新时代”战略级新品发布会上获悉,2026年湖南移动将实现...
靖边:科创赋能低空起 智驾未来... 风起毛乌素,低空逐梦行。坐落于陕西靖边县的保通防务科技有限公司(以下简称“保通防务”),抢抓产业风口...
杭企 | 暖芯迦获3亿元融资,... 近日,杭州暖芯迦电子科技有限公司(以下简称“暖芯迦”)宣布完成3亿元战略融资。据悉,本轮融资所得资金...