小型语言模型:AI领域的新热点
创始人
2024-12-18 22:21:42

多年来,谷歌等科技巨头和OpenAI等初创公司,一直在不遗余力地利用海量在线数据,打造更大、更昂贵的人工智能(AI)模型。这些大型语言模型(LLM)被广泛应用于ChatGPT等聊天机器人中,帮助用户处理各种各样的任务,从编写代码、规划行程,到创作诗歌等。

ChatGPT面世以来,AI模型便在变大、变强之路上“狂奔”。但喧嚣过后,科技公司也越来越关注更小、更精简的小型语言模型(SLM)。他们认为,这些小巧玲珑的模型不仅“术业有专攻”,而且部署成本更低廉、更节能。

未来,这些规模不一的AI模型将协同工作,成为人类的左膀右臂。

小型模型独具优势

随着AI技术突飞猛进,AI模型的“块头”与日俱增。ChatGPT的缔造者OpenAI去年夸耀称,其GPT-4模型拥有约2万亿个参数。参数表示AI模型的大小,一般参数越多,AI模型的能力越强,庞大的参数量使GPT-4成为迄今最强大的AI模型之一,能回答从天体物理学动物学等多领域包罗万象的问题。

但是,如果某家公司只想借助AI模型解决特定领域(如医学)的问题,或者一家广告公司只需一款AI模型来分析消费者行为,以便他们更精准地推送广告,GPT-4这类模型就有点“大材小用”了,SLM反而更能满足用户们的要求。

美国《福布斯》双周刊网站在11月的报道中,将SLM称为AI领域的“下一个大事件”。

微软公司生成式AI副总裁塞巴斯蒂安·布贝克表示,虽然SLM的参数量目前并没有统一标准,但大约在3亿到40亿个之间,小巧到可以安装在智能手机上。

专家声称,SLM更胜任简单的任务,如总结和索引文档、搜索内部数据库等。

法国初创公司LightOn的负责人劳伦特·都德认为,与LLM相比,SLM拥有诸多优势:首先,这些模型的反应速度更快,能同时响应更多查询,回复更多用户;其次,SLM部署成本更低,能源消耗也更少。

都德解释道,目前很多LLM需要大量服务器来进行训练,然后处理查询。这些服务器由尖端芯片组成,需要大量电力来运行,并进行冷却。而训练SLM所需芯片更少,运行耗费的能源也更少,这使其更便宜、更节能。

SLM还可直接安装在设备上,在不依赖数据中心的情况下运行,这能进一步确保数据的安全性。《福布斯》表示,SLM能以最少的计算资源执行各种任务,使其成为移动设备、边缘设备等的理想选择。

AI模型掀起“极简风”

谷歌、微软、元宇宙平台公司以及OpenAI等公司闻风而动,推出了各种SLM。

去年12月底,微软公司正式发布了只有27亿个参数的语言模型Phi-2。微软研究院在其X平台官方账号上表示,Phi-2的性能优于现有其他SLM,且能在笔记本电脑或移动设备上运行。今年4月,微软又推出了只有38亿个参数的Phi-3系列模型。

今年8月,微软公司再接再厉,推出了最新的Phi-3.5-mini-instruct。这款SLM为高效、先进的自然语言处理任务量身打造。9月,英伟达公司开源了Nemotron-Mini-4B-Instruct。该公司表示,这款SLM特别适合边缘计算和设备端的应用。报道称,这两款SLM在计算资源使用和功能表现之间实现了良好平衡。在某些方面,其性能甚至可媲美LLM。

OpenAI也不甘示弱。今年7月,OpenAI公司发布了GPT-4o mini,称其是该公司最智能和最实惠的SLM。

此外,亚马逊公司还允许在其云平台上使用各种规模的AI模型。

其他公司也纷纷开发更适合自身需求的SLM。例如,美国制药巨头默克公司正与波士顿咨询集团BCG)合作开发一款SLM,旨在探究某些疾病对基因的影响。这将是一款参数介于几亿到几十亿之间的AI模型。

大小模型作用互补

虽然SLM在效率等方面具有独特优势,但LLM在解决复杂问题、提供更广泛的数据访问方面仍然具有极大优势。

展望未来,LLM和SLM两种模型将“是朋友而非对手”,它们之间的协作交流将成为主流趋势。

当遇到用户提出的某个问题时,一款SLM会“一马当先”,理解这个问题,再根据问题的复杂性,将相关信息发送给几个大小不一的AI模型。这些模型“群策群力”“并肩携手”为用户解决难题。

目前市面上的AI模型要么太大、太贵,要么处理速度太慢。两者合作,或是最佳解决方案。(科技日报刘霞)

本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有。如因无法联系到作者侵犯到您的权益,请与本网站联系,我们将采取适当措施。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

OpenAI已收购AI声音克隆... 来源:环球市场播报 两年前,OpenAI的技术团队发布博文,详述公司已借助顶尖人工智能技术研发出人...
海光信息:为“能源电力行业第一... 5月15日,由中国电力企业联合会大数据与人工智能分会举办的“能源电力行业第一届人工智能创新研发交流活...
浙江中达精密部件申请自润滑滑动... 国家知识产权局信息显示,浙江中达精密部件股份有限公司申请一项名为“一种自润滑滑动轴承”的专利,公开号...
“AI+”,这样赋能制造全流程 来源:滚动播报 (来源:新华日报) (视觉中国供图) □ 本报记者 付奇 李嘉豪 “‘AI+制造’将...
石化机械获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示石化机械(000852)新获得一项实用新型专利授权,专利名为“...
29个智能气象站启动业务试运行 本报北京5月15日电 (记者李红梅)记者从中国气象局获悉:北京密云等29个智能气象站已于近日启动业务...
违法违规收集使用个人信息!41... 1、未公开个人信息收集使用规则。涉及20款移动应用如下: 《享充充电》(微信小程序)、《小牛充充充电...
微信鸿蒙版App获8.0.17... IT之家 5 月 16 日消息,微信鸿蒙版 App 已在华为应用市场发布 8.0.17.38(839...
2026年国内高端小程序开发公... 2026年,小程序开发已彻底进入两极分化时代。一边是AI工具让“做个能跑的小程序”变得像写文档一样简...
网传“三大运营商即将免月租”,... 据央视新闻,最近,大家在各大社交平台都可能刷到过这样一条消息——三大运营商即将全面推出免月租、按量计...