移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速端侧AI落地
创始人
2025-02-13 12:40:35

近日,国产大模型DeepSeek凭借其“开源开放、高效推理、端侧友好”的核心优势,迅速风靡全球。移远通信基于边缘计算模组SG885G,已成功实现DeepSeek模型的稳定运行,并完成了针对性微调。

目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速端侧AI技术在各行各业的规模化应用与普及。

DeepSeek:AI模型创新先锋

DeepSeek之所以火爆全球,源于其在模型架构、蒸馏技术以及强化学习等方面的突破性创新。

完整版DeepSeek-V3模型采用创新的MoE(混合专家)架构,拥有6,710亿参数,每秒可处理60个Token,擅长处理长文档分析、多模态推理等复杂任务和高精度场景。其每层包含256个路由专家和1个共享专家,每个Token仅激活8个专家,极大地提升了学习效率和灵活性,显著降低了训练和推理成本,同时加速了Tokens生成。

为解决小推理模型Self-play学习的不足,DeepSeek-R1通过高效蒸馏技术,将大模型的推理能力迁移到更小、更高效的版本中。这一突破使其小尺寸版本在保持卓越性能的同时,显著降低了模型体积和计算资源需求,成为端侧部署的理想选择。

同时,DeepSeek-R1-Zero实验性版本证明了仅通过强化学习(Reinforcement Learning,RL)、无需监督式微调,大模型也能具备强大的推理能力,为AI模型的训练开辟了新思路。

DeepSeek小尺寸版本:端侧部署的理想选择

DeepSeek-R1版本专注于强化学习技术路线,推理能力强、性价比突出,基于该版本开发的系列小尺寸蒸馏模型,参数范围覆盖1.5B至70B,为开发者提供了高性能、低成本的大模型部署与开发解决方案,将有力推动端侧AI的商业化应用。

简化后的小模型从大模型中继承了强大的AI能力,尽管参数量减少,但性能依然出色。由于计算量大幅降低,减少了内存和计算资源的消耗,因此特别适合资源有限的端侧设备。同时,推理速度显著提升,能够满足端侧设备对实时性的需求。此外,小模型体积更小,适配性更强,更容易在各种行业终端和边缘计算设备上集成和运行。尽管模型压缩,但通过蒸馏技术,小模型仍能保持较高的精度,确保任务效果不受影响。

移远通信:以领先的工程能力加速端侧AI落地

在众多厂商仍在探索如何支持DeepSeek模型之际,移远通信已率先取得突破,其搭载高通QCS8550平台的边缘计算模组SG885G,成功实现了DeepSeek-R1蒸馏小模型的稳定运行。实测数据显示,其生成Tokens的速度超过每秒40个Tokens,且未来随着性能的不断优化,速度还将进一步提升,为智能终端设备带来更强大的AI能力。

同时,移远通信还与行业合作伙伴紧密合作,在机器人、智能座舱、智能工业等客户应用上开展深入测试与优化,为用户提供更为流畅的AI体验。

搭载DeepSeek模型的移远边缘计算模组和解决方案,不仅适用于消费类和工业类机器人领域,还可广泛应用于智能座舱、机器视觉、个性化虚拟助理、平板电脑、老人监护、智能家居、AI玩具及可穿戴设备等多元化场景,为各行业提供强大的AI赋能,例如更自然的语音交互、更精准的图像识别以及更加个性化的服务体验。

此外,在成功实现DeepSeek模型端侧运行的基础上,移远通信还完成了该模型的针对性微调,并应用于自身的大模型解决方案中,为客户提供更精准、更高效的端侧AI服务。这一成果不仅彰显了移远通信在端侧AI领域的技术实力,更体现了其领先的工程化能力,将有力推动AIoT应用的快速发展与落地。

面向亟待接入AI能力的广泛垂直领域,移远通信将持续投入资源,推动更多高、中、入门级边缘计算模组,以及智能座舱、5G、LTE模组和解决方案全面接入DeepSeek等先进模型以及云端大模型,助力物联网设备实现智能化升级,开启万物智联新时代。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

瑞光红枫(上海)商业有限公司童... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。最近,总有人带着焦...
聚沃企业咨询(深圳)有限公司买... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。 在股票投资领域,...
未来之星计划份额申购瑞光红枫(... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"近期,我们接到...
河南宸.邦数据技术有限公司原始... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。当“公司即将IPO...
酒业(深圳)集团有限公司买酒送... “此类风险投资的常见模式"(注:本案例仅供科普用,旨在避免更多的人上当受骗): 直播间里,主播口若悬...
赵凯环球合作者计划入会申请表嘉... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"当你在社交平台...
财合联盟直播间陈斌、胡老师推荐... “此类风险投资的常见模式"(注:本案例仅供科普用,旨在避免更多的人上当受骗): 起初,“导师”的表现...
同心同德大课堂袁光文推荐圣斯立... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。通过拉进“钉钉”群...
南京中科微点运维供应链有限公司... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"随着资本市场的...
四川常阳工会直播间旭东老师南京... 本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。近年来,随着人们对...