微软出手!Win11电脑本地运行DeepSeek-R1大模型
创始人
2025-02-01 00:21:23

人工智能正加速向着边缘计算领域发展,Copilot+ PC 在其中扮演着重要角色。随着 DeepSeek R1 出现,微软也意识到了这一模型可能会带来了一系列变革。

微软今日(1 月 30 日)发文,宣布推出针对 NPU 优化的 DeepSeek-R1(已在 Azure AI Foundry 和 GitHub 上提供),首批将面向 搭载高通骁龙 X 芯片的 Copilot+ PC 推出,随后是英特尔酷睿 Ultra 200V 等平台。

微软表示, 首个版本 DeepSeek-R1-Distill-Qwen-1.5B 将在 AI Toolkit 中提供,7B 和 14B 版本也将很快推出,从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。

微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下, 生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。

微软表示:

通过我们在 Phi Silica 上的工作,我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色,同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 DeepSeek 模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外,我们还利用 Windows Copilot Runtime(WCR)通过 ONNX QDQ 格式在多样化的 Windows 生态系统中实现扩展。

微软表示,要想在 Copilot+ PC 上体验 DeepSeek 只需下载 AI Toolkit VS Code 扩展即可;以 ONNX QDQ 格式优化的 DeepSeek 模型将很快出现在 AI Toolkit 的模型目录中(直接从 Azure AI Foundry 中拉取)。

如下图所示,微软还展示了原始模型和量化模型的示例,以展现两者之间微小但确实存在的差异:

相同提示下原始模型(左)与 NPU 优化模型(右)的响应示例,包括模型的推理能力

对了,别忘了今天还有《马斯克谈 FSD 入华最大难点等文章,以及:

NPU 真能跑 14B 模型吗?↓↓

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

绿色挖矿与区块链钱包:低碳时代... 在 “双碳” 目标与全球环保意识觉醒的背景下,区块链行业正加速摆脱 “高能耗” 标签。绿色挖矿凭借可...
美股三大股指早盘涨跌不一 12月26日早盘,美股三大股指涨跌不一。北京时间22时35分,道指下跌0.07%,纳指上涨0.16%...
浦发银行:对信达资产集团等五家... 来源:滚动播报 (来源:北京商报) 北京商报讯(记者 宋亦桐)12月26日,浦发银行发布公告称,根据...
最新!盈盈订购app亏钱了怎么... 白银现货平台骗局大起底:高收益背后的财富陷阱与维权实战”在抖音、今日头条等平台打广告的顶点订购app...
汇正财经投资选股可靠吗误导性宣...  汇正财经投资选股可靠吗误导性宣传骗取股民服务费!退款其实很简单!上海汇正财经顾问有限公司不靠谱可以...
上海海能投顾给股民虚假宣传诱导... 上海海能投顾给股民虚假宣传诱导,指导股民炒股亏钱,忽悠买的荐股服务被坑退费成功!那些疯狂拉群洗脑的营...
新消费观察 | 多维度适配消费... 精准功效、性价比平衡、消费结构变化等关键词正在逐渐成为当前中国美妆市场发展的聚焦方向,而越来越快的更...
指南针股票准不准收取25800... 指南针擒龙版值得购买吗?退款流程详解及注意事项如下!被忽悠交费不给好票亏损不断可退费!大家能在指南针...
福州大学发布《福建省上市公司智... 转自:新华财经 2025年12月25日上午,《福建省上市公司智力资本信息披露评价报告(2025)》发...
注意!珍牛订购APP亏钱了怎么... 白银现货平台骗局大起底:高收益背后的财富陷阱与维权实战”在抖音、今日头条等平台打广告的顶点订购app...