华为申请大语言模型推理方法专利,减少输出文本的推理时延
创始人
2026-02-05 19:41:23

国家知识产权局信息显示,华为技术有限公司申请一项名为“一种大语言模型的推理方法、系统及相关设备”的专利,公开号CN121456082A,申请日期为2024年7月。

专利摘要显示,本申请提供了一种大语言模型的推理方法、系统及相关设备,该方法通过在检索阶段下,处理器对输入文本进行检索获得检索结果,加速卡对输入文本进行第一次前向计算获得第一中间结果,然后在生成阶段下,加速卡基于第一中间结果以及检索结果完成第二次前向计算获得首个预测词,然后基于首个预测词进行多次前向计算获得多个预测词,进而获得输出文本,使得检索阶段下加速卡的资源得到充分利用,避免加速卡等待检索结果返回造成加速卡资源浪费这一问题的出现,进而减少输出文本的推理时延,从而解决大语言模型响应速度慢的问题,提高用户的使用体验。

天眼查资料显示,华为技术有限公司,成立于1987年,位于深圳市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4104113.182万人民币。通过天眼查大数据分析,华为技术有限公司共对外投资了51家企业,参与招投标项目5000次,财产线索方面有商标信息5000条,专利信息5000条,此外企业还拥有行政许可1709个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

来源:市场资讯

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

信立泰:控股股东解除质押430... 中证智能财讯 信立泰(002294)2月5日公告,公司控股股东信立泰药业有限公司(香港信立泰)近日解...
原创 受... 2026年1月底,马斯克主导的SpaceX公司向美国联邦通信委员会(FCC)提交申请,计划部署至多1...
湖北“智”造成果用在新疆电网建... “现浇主变基础施工工期一般在30天左右,应用了预制主变正交斜放格栅筏板基础构件以后,主变基础工期能缩...
维图实业取得稳定性强的挂壁式液... 国家知识产权局信息显示,深圳市维图实业有限公司取得一项名为“一种稳定性强的挂壁式液晶显示屏”的专利,...
大脑植入芯片,遥控飞行方向!俄... 俄罗斯科学家正在开发一种“半机械鸽子无人机”。这项技术将活体动物与电子设备结合,让鸽子变得可远程操控...
79公斤黄金如何20年增值10... 01 被低估的"地面资产":从装饰品到硬通货的蜕变 2005年,英皇娱乐酒店以940万港元购入这批...
中建壹品邹璇荣获“管理精英奖”... 乐居财经赵盼盼据“中建壹品投资公司”官微,2026年1月中建壹品投资公司迎来重组五周年,公司发布“管...
仙乐健康跟风赴港是开拓版图还是... 值得注意的是,当下境内营养健康行业企业赴港上市相对活跃,仅2025年以来就有超过10家公司披露或推进...
一座城与优质互联网内容创作者的... 杨浦区创智天地6号楼的“V聚场”。文汇报记者 张伊辰 摄 深夜,杨浦区政立路上的V聚场,光影透过层层...
【调研】喀旗政府副旗长于化岩到... 2月5日,喀旗政府副旗长于化岩到喀旗市场监管局开展慰问调研,详细了解了春节期间市场监管领域的工作部署...