微软出手!Win11电脑本地运行DeepSeek-R1大模型
创始人
2025-02-01 00:21:23

人工智能正加速向着边缘计算领域发展,Copilot+ PC 在其中扮演着重要角色。随着 DeepSeek R1 出现,微软也意识到了这一模型可能会带来了一系列变革。

微软今日(1 月 30 日)发文,宣布推出针对 NPU 优化的 DeepSeek-R1(已在 Azure AI Foundry 和 GitHub 上提供),首批将面向 搭载高通骁龙 X 芯片的 Copilot+ PC 推出,随后是英特尔酷睿 Ultra 200V 等平台。

微软表示, 首个版本 DeepSeek-R1-Distill-Qwen-1.5B 将在 AI Toolkit 中提供,7B 和 14B 版本也将很快推出,从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。

微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下, 生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。

微软表示:

通过我们在 Phi Silica 上的工作,我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色,同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 DeepSeek 模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外,我们还利用 Windows Copilot Runtime(WCR)通过 ONNX QDQ 格式在多样化的 Windows 生态系统中实现扩展。

微软表示,要想在 Copilot+ PC 上体验 DeepSeek 只需下载 AI Toolkit VS Code 扩展即可;以 ONNX QDQ 格式优化的 DeepSeek 模型将很快出现在 AI Toolkit 的模型目录中(直接从 Azure AI Foundry 中拉取)。

如下图所示,微软还展示了原始模型和量化模型的示例,以展现两者之间微小但确实存在的差异:

相同提示下原始模型(左)与 NPU 优化模型(右)的响应示例,包括模型的推理能力

对了,别忘了今天还有《马斯克谈 FSD 入华最大难点等文章,以及:

NPU 真能跑 14B 模型吗?↓↓

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

中资券商牢牢把持港股IPO保荐... 财联社5月16日讯(记者 陈俊兰)2026年,港股IPO热度居高不下,Wind数据显示,截至5月13...
SpaceX下月12日亮相纳斯... 埃隆·马斯克的火箭公司SpaceX已选择纳斯达克进行市场期待已久的IPO,目标是在6月11日定价,随...
单日蒸发65亿元,A股新晋“股... “股王”(此处以每股股价最高为标准)的位置果然不好坐。5月15日,A股市场新晋“股王”源杰科技受突发...
2026年上街工厂短视频运营格... 导语 在2026年,工厂短视频运营已然成为制造业实现线上获客与品牌曝光的核心引擎,尤其在郑州上街及周...
AI学会自主决策,谁来为它的行... 来源:上观新闻 当越来越多具备自主决策与执行能力的AI智能体开始参与内容生产、金融支付乃至跨系统协...
贾跃亭出任CEO首周:FF获2... 5月16日,Faraday Future(FF)宣布已与机构投资者签署2500万美元的股份购买协议,...
中外共商经贸文化协同出海,首届... 5月14日,第一届上海国际经贸合作与文化交流论坛在上海西郊宾馆正式开幕,以“走出去”开拓新市场、“引...
央视6000万美元拿下美加墨世... 据知情人士透露,中央广播电视总台与国际足联的版权协议已在今天下午生效。根据协议,美加墨世界杯的版权费...
月薪5000,怎么存下人生第一... "我也想存钱,但每个月工资花完就没了。" 这句话,我听过太多次了。 月薪5000存不下钱,不是因为钱...