小型语言模型:AI领域的新热点
创始人
2024-12-18 22:21:42

多年来,谷歌等科技巨头和OpenAI等初创公司,一直在不遗余力地利用海量在线数据,打造更大、更昂贵的人工智能(AI)模型。这些大型语言模型(LLM)被广泛应用于ChatGPT等聊天机器人中,帮助用户处理各种各样的任务,从编写代码、规划行程,到创作诗歌等。

ChatGPT面世以来,AI模型便在变大、变强之路上“狂奔”。但喧嚣过后,科技公司也越来越关注更小、更精简的小型语言模型(SLM)。他们认为,这些小巧玲珑的模型不仅“术业有专攻”,而且部署成本更低廉、更节能。

未来,这些规模不一的AI模型将协同工作,成为人类的左膀右臂。

小型模型独具优势

随着AI技术突飞猛进,AI模型的“块头”与日俱增。ChatGPT的缔造者OpenAI去年夸耀称,其GPT-4模型拥有约2万亿个参数。参数表示AI模型的大小,一般参数越多,AI模型的能力越强,庞大的参数量使GPT-4成为迄今最强大的AI模型之一,能回答从天体物理学动物学等多领域包罗万象的问题。

但是,如果某家公司只想借助AI模型解决特定领域(如医学)的问题,或者一家广告公司只需一款AI模型来分析消费者行为,以便他们更精准地推送广告,GPT-4这类模型就有点“大材小用”了,SLM反而更能满足用户们的要求。

美国《福布斯》双周刊网站在11月的报道中,将SLM称为AI领域的“下一个大事件”。

微软公司生成式AI副总裁塞巴斯蒂安·布贝克表示,虽然SLM的参数量目前并没有统一标准,但大约在3亿到40亿个之间,小巧到可以安装在智能手机上。

专家声称,SLM更胜任简单的任务,如总结和索引文档、搜索内部数据库等。

法国初创公司LightOn的负责人劳伦特·都德认为,与LLM相比,SLM拥有诸多优势:首先,这些模型的反应速度更快,能同时响应更多查询,回复更多用户;其次,SLM部署成本更低,能源消耗也更少。

都德解释道,目前很多LLM需要大量服务器来进行训练,然后处理查询。这些服务器由尖端芯片组成,需要大量电力来运行,并进行冷却。而训练SLM所需芯片更少,运行耗费的能源也更少,这使其更便宜、更节能。

SLM还可直接安装在设备上,在不依赖数据中心的情况下运行,这能进一步确保数据的安全性。《福布斯》表示,SLM能以最少的计算资源执行各种任务,使其成为移动设备、边缘设备等的理想选择。

AI模型掀起“极简风”

谷歌、微软、元宇宙平台公司以及OpenAI等公司闻风而动,推出了各种SLM。

去年12月底,微软公司正式发布了只有27亿个参数的语言模型Phi-2。微软研究院在其X平台官方账号上表示,Phi-2的性能优于现有其他SLM,且能在笔记本电脑或移动设备上运行。今年4月,微软又推出了只有38亿个参数的Phi-3系列模型。

今年8月,微软公司再接再厉,推出了最新的Phi-3.5-mini-instruct。这款SLM为高效、先进的自然语言处理任务量身打造。9月,英伟达公司开源了Nemotron-Mini-4B-Instruct。该公司表示,这款SLM特别适合边缘计算和设备端的应用。报道称,这两款SLM在计算资源使用和功能表现之间实现了良好平衡。在某些方面,其性能甚至可媲美LLM。

OpenAI也不甘示弱。今年7月,OpenAI公司发布了GPT-4o mini,称其是该公司最智能和最实惠的SLM。

此外,亚马逊公司还允许在其云平台上使用各种规模的AI模型。

其他公司也纷纷开发更适合自身需求的SLM。例如,美国制药巨头默克公司正与波士顿咨询集团BCG)合作开发一款SLM,旨在探究某些疾病对基因的影响。这将是一款参数介于几亿到几十亿之间的AI模型。

大小模型作用互补

虽然SLM在效率等方面具有独特优势,但LLM在解决复杂问题、提供更广泛的数据访问方面仍然具有极大优势。

展望未来,LLM和SLM两种模型将“是朋友而非对手”,它们之间的协作交流将成为主流趋势。

当遇到用户提出的某个问题时,一款SLM会“一马当先”,理解这个问题,再根据问题的复杂性,将相关信息发送给几个大小不一的AI模型。这些模型“群策群力”“并肩携手”为用户解决难题。

目前市面上的AI模型要么太大、太贵,要么处理速度太慢。两者合作,或是最佳解决方案。(科技日报刘霞)

本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有。如因无法联系到作者侵犯到您的权益,请与本网站联系,我们将采取适当措施。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

中赢学堂公益直播公开课正阳朱星... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"最近,常有人带...
新乡市宸.邦京徽网络技术有限公... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"近年来,“上市...
可耻!圣牛订购大曝光!揭露亏损... 揭开!圣牛订购亏损被骗!难友自述亏损被骗真相圣牛订购亏损是能退回的!圣牛订购不具备现货期货交易资质,...
上海致成投资咨询集团有限公司北... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"最近,不少人带...
请看!金鳞订购APP大揭秘!亏... 揭开!金鳞订购APP亏损被骗!难友自述亏损被骗真相金鳞订购APP亏损是能退回的!金鳞订购APP不具备...
达亨新能源科技(福建)有限公司... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"近期,我们接到...
上海得远国际货运代理线下打新股... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"最近,常有人带...
贪婪!鲲鹏订购是不是正规的为什... 揭开!鲲鹏订购亏损被骗!难友自述亏损被骗真相鲲鹏订购亏损是能退回的!鲲鹏订购不具备现货期货交易资质,...
国 诚投资688元炒股怎么样?... 国 诚投资688元炒股怎么样?荐股常见陷阱曝光!大家一定要擦亮眼睛!一分钟教会你怎么退服务费
老赵讲堂直播间讲课摇号中签西安... “本文旨在进行投资风险教育,不针对任何特定企业。以下案例为拟情景,如有雷同纯属巧合。"最近,总有人问...