原创 OpenAI的先进模型遭遇瓶颈,堆数据做不成AGI
创始人
2024-11-16 01:40:34
0

外界对于人工智能最初的“期待感”正在消退,这无疑是当下整个AI行业最大的痛点,因此继续支撑资本市场信心的似乎只剩下了AGI(通用人工智能)。而AGI将在未来5年内实现,这也是OpenAI CEO阿特尔曼、特斯拉创始人马斯克、英伟达创始人黄仁勋等一众科技界大咖的预测。

从ChatGPT到GPT-4到o1,从LLama 1.0到3.0、Claude1到Claude3,如同打怪升级一般逐步实现AGI,这是以OpenAI为代表的AI厂商试图描绘的未来图景。只是近日有消息显示,OpenAI下一代旗舰模型“猎户座”(Orion)的进步速度大幅放缓,合成数据越训越像旧模型、编码性能甚至还在退步。

其实不仅仅是OpenAI,谷歌的Gemini 2.0、Anthropic的Claude 3.5 Opus等先进AI模型也被传出遇到了瓶颈,以至于业界开始讨论如今被奉为圭臬Scaling law即将失效。事实上,关于Scaling law的论战也是近期X平台的热点,从OpenAI的开发者到NYU、OSU等知名大学的教授都参与其中。

所谓Scaling law,其实是OpenAI在2020年提出的一个关于基于transformer语言模型的规律,指的是大模型的最终性能主要与计算量、模型参数量和训练数据量三者的规模大小相关,与模型的具体结构基本无关。OpenAI在发现了这个规律后,就搭建了拥有200亿参数的GPT-3.5-Turbo,而ChatGPT正是在后者的基础上诞生。

要知道在过去相当长的一段时间里,机器学习研究领域并没有把数据量作为主要研究对象,因为数据一般被认为是被动变量,大量的研究是集中在如何有效降低训练误差和控制模型复杂度上。客观来说,Scaling law也是过去两年AI大模型赛道风起云涌的基础,因为它证明了通过预训练使用更多的数据和算力,能够让AI模型的性能暴涨。

Scaling law在AI领域的意义就如同摩尔定律之于半导体行业,用李开复博士在知乎上的回答就可以解释这条规律的重要性,“Scaling Law的持续影响下,无论是硅谷还是国内,大模型赛道正在掀起一场AI Infra的‘军备竞赛’”。

过去两年,OpenAI、微软、谷歌、Meta、Anthropic等AI赛道的头部厂商其实都在做同一件事,即以巨额计算资源为赌注,来赌Scaling Law的收益递减未来能够得到解决。在这一趋势下,海量资金被用于购买算力芯片、筹建数据中心,以及购买数据。

而Scaling Law的存在也让整个业界弥漫着一股乐观情绪,仿佛购买更多的英伟达芯片、拿下更多的数据、获取更多的水电资源,AGI似乎就是水到渠成的事情。对于OpenAI等大厂来说,实现Scaling Law需要的硬件资源和工程实践也是远胜于技术和思想的护城河。

那么为什么会出现OpenAI Orion越训练越像旧模型呢?因为“新的、未开发的高质量人类生成训练数据”正在成为稀缺资源。在过去几年里,大模型的迭代升级过程几乎已经把各种公开可用的数据集、网站、书籍,以及其他来源的数据耗尽,而合成数据的广泛使用,则会导致新模型在训练中变得与旧模型更贴近。

换而言之,如果解决了高质量训练数据的供给,业界就能继续在Scaling law这条道路上前进。问题在于高质量训练数据的产出跟不上大模型的“消耗”,并且随着越来越多内容拥有者认识到了数据的价值,使得其变得越来越贵。这就意味着数据匮乏的问题不仅在2024年变得严峻,在未来还将变得更难以解决。

Scaling Law的边际效应愈发凸显、AI大模型撞上“数据墙”,这对于整个AI行业无疑是一个危险的信号。著名美国认知科学家、AI泡沫论支持者Gary Marcus就在社交平台上表示,整个AI行业相关公司的高估值是建立在模型能力不断增强,能够迅速达到AGI的预期之上。

所以一旦迭代速度放缓,行业就将进入价格战,这就意味着AI行业在找到自己的“现金牛”、获得切实的业绩增长、回收基础设施上的庞大投入前,需要先进行残酷的消耗战。这对于投资者而言无疑是一个晴天霹雳,也很难不让他们联想到当年的互联网泡沫。

如果不想重蹈二十年前互联网泡沫破裂的覆辙,AI公司就必须找到Scaling Law之外的新道路。目前,OpenAI给出的解决方案是切换赛道,The Verge日前就发文称, OpenAI方面计划于2025年1月推出名为“Operator”的AI智能体,其能力类似于Claude 3.5 Sonnet、主打能像人类一样操作电脑。

对此OpenAI首席产品官凯文・韦尔指出,2025年可能是智能体进入主流市场的关键时间。其实智能体并不是什么新概念,早在一年前,比尔·盖茨就曾在博客文章中预言,AI智能体将会成为继Windows、iOS/Android之后的下一个平台。在此之前,OpenAI、Anthropic、谷歌、Meta等引流潮流的头部AI厂商之所以不做智能体,只是因为追逐AGI显然更有“钱景”。

如今在Scaling law失灵已经近在咫尺的情况下,头部AI厂商的AGI梦看来将会变得遥遥无期。这时候重新捡起商业前景更好的智能体,就说明OpenAI更务实了,毕竟想要实现远大的理想先得活下来才行。

相关内容

热门资讯

过会21月难入注册关,耐普股份... 来源:叩叩财讯 导读:既然业绩的持续性与稳定性并无大碍,当年在上市委会议审议的结果也为无需进一步落...
民营经济“小”与“大”|专精特... 新华社天津11月14日电(记者郭方达)伴随着规律的电机运转声,一台数米长的“大家伙”缓缓走下产线,驶...
奇艺世纪申请图像压缩专利,减小... 金融界2024年11月15日消息,国家知识产权局信息显示,北京奇艺世纪科技有限公司申请一项名为“图像...
长七火箭如何在飞行中不受“高空... 11月15日23时13分,天舟八号货运飞船在长征七号遥九运载火箭的推举下,顺利进入预定轨道,发射任务...
张江芯片测试公共服务平台上线 ... 新民晚报讯(记者 宋宁华)在全球科技浪潮中,集成电路封装测试作为集成电路产业链中至关重要的环节,不仅...
证监会:推动上市公司投资价值合... 本文转自【央视新闻客户端】; 15日,为进一步引导上市公司关注自身投资价值,切实提升投资者回报,证...
四川佳顺制冷取得空调压缩机轴承... 金融界2024年11月15日消息,国家知识产权局信息显示,四川佳顺制冷设备有限公司取得一项名为“空调...
网上能买“大国重器”!低空有新... (央视财经《第一时间》)第十五届中国航展开幕以来,现场每天都有大量的新订单达成签约,这当中蕴含着一些...
周末证券|分化加大 热点难以持... 本文共2300字 阅读完约7分钟 金融投资报记者 林珂 近期市场继续震荡反弹,波动有所加大,热点切换...
华为技术申请一种通信方法及装置... 金融界 2024 年 11 月 15 日消息,国家知识产权局信息显示,华为技术有限公司申请一项名为“...
穿越迷雾,七个前沿“烧脑”概念... 科学是我们理解宇宙奥秘的最佳途径。为了理解那些难以捉摸的现象,科学界常常抛出各种概念,随之而来的新发...
郑煤机跌0.38%,成交额4.... 来源:新浪证券-红岸工作室 11月15日,郑煤机跌0.38%,成交额4.47亿元,换手率2.18%,...
原创 O... 外界对于人工智能最初的“期待感”正在消退,这无疑是当下整个AI行业最大的痛点,因此继续支撑资本市场信...
盘中宝阶段回顾AI应用市场人气... 近一周(11月8日-14日)虽然市场持续区间震荡,但盘面上涌现出不少活跃的题材,其中AI应用概念当之...
上市至今股价飙升270%,Q3... 本报(chinatimes.net.cn)记者石飞月 北京报道 上市本该是“大喜之事”,然而对于灿芯...
自动化虫情测报灯——农田卫士的... 来源:万象环境监测设备 在农业生产的舞台上,病虫害始终是影响农作物收成的重大威胁。自动化虫情测报灯W...
天舟八号货运飞船发射任务取得圆... ▲搭载天舟八号货运飞船的长征七号遥九运载火箭在我国文昌航天发射场点火发射 11月15日,据中国载人航...
冠佳技术取得多功能自动机专利,... 金融界2024年11月15日消息,国家知识产权局信息显示,冠佳技术股份有限公司取得一项名为“多功能自...
内蒙古第八届“筑梦杯”BIM应... 中新网内蒙古新闻11月15日电(记者 张林虎)14-15日,内蒙古自治区第八届“筑梦杯”BIM应用大...
紫金矿业“黄金大劫案”背后:盗... 紫金矿业2024年三季报显示,公司2024年前三季度营收实现2303.96亿元,同比增长2.39%,...