中信证券:Kimi长文本模型对行业意味着什么?
金融界
2024-03-30 00:21:54

原标题:中信证券:Kimi长文本模型对行业意味着什么?

近期月之暗面旗下对话类模型Kimi迎来重大升级,支持200万字超长文本输入和更复杂指令,引发市场关注。此次升级刷新了业界文本输入长度纪录,充分展现了Kimi在工程优化和算法设计方面的突出实力。长文本处理能力的突破,为Kimi在多模态融合、Agent任务处理等方面奠定了坚实基础。我们判断,超长文本支持已成为大模型多模态升级的关键前提。在Kimi示范效应下,越来越多厂商有望效仿其技术路线,加大研发投入,推动长文本处理在今年内成为行业标配。随着多模态理解能力的提升,AI有望在UGC内容understanding、复杂任务处理等场景实现新突破,为产业智能化升级注入新动力。我们看好Kimi引领的这轮大模型技术革新浪潮,同时随着对超长文本、多模态数据的支持需求提升,我们预计软硬件基础设施将迎来新一轮升级,以满足海量非结构化数据的存储和计算需求。因此,我们持续看好AI算力赛道的投资机会,特别是商业应用加速落地背景下,推理侧算力有望实现快速增长。

▍事件背景:

北京时间3月18日,月之暗面旗下对话类模型Kimi迎来重大升级,支持200万字的长文本处理和更复杂指令,引发市场强烈反响。Kimi Chat作为专注长文本处理的对话助手,凭借20万汉字的超长上下文和优秀性能,自去年10月发布以来持续受到市场青睐。今年2月的功能升级进一步增强了网站与多问题搜索能力,带来更佳用户体验。Similarweb数据显示,Kimi Chat网页端访问量近期屡创新高,峰值达34.6万人次。据AI产品榜统计,2月份Kimi Chat国内访问量排名第三,日活跃用户同比翻倍,全球增速位列第一。在本次3月份的长文本版本更新后,数据显示最新周访问量创新高,3月18日-3月24日访问量243万,环比增加45%。

Kimi主要突破:支持长文本输入,更强的工程与成本控制能力。

大模型的输入文本长度是一个重要的工程挑战。随着输入序列长度的增加,模型推理过程中注意力层的计算时间呈指数级增长。以Llama-7b模型为例,处理100万字的输入需要数分钟之久。因此,更长的上下文窗口不仅意味着模型具备更强大的基础能力,还需要在工程实现上进行特殊优化,并将成本控制在合理水平。横向比较当前市场上的大语言模型,GPT-4支持3.2万字Tokens输入,Gemini公开版本支持13万字,而Kimi的200万字上下文长度无疑刷新了现有的最高纪录。为实现更优的长文本无损压缩性能,月之暗面在发布会上透露,其研发团队从模型预训练、对齐到推理的各个环节进行了原生级的重新设计和开发,摒弃了“滑动窗口”和“降采样”等折中方案,攻克了诸多底层技术难题,才取得了这一突破性进展。我们认为,Kimi展现的超长文本处理能力印证了其在工程和算法优化方面过硬实力。

▍市场影响判断:多模态能力升级的必然前提,将引起更多厂商效仿。

Kimi将输入文本长度拓展至200万字,绝非为刷新纪录而作出的简单改动。长文本处理能力直接决定了模型的多模态融合水平,是构建能处理复杂任务的AI Agent的必要基础。相较于纯语言模态,图像、视频等非结构化数据蕴含的信息更为丰富,需要更长的上下文才能有效表征和理解。因此,超长文本输入已成为支持多模态处理的基本前提。从技术实现角度看,长文本处理主要涉及工程优化和成本控制两大挑战。我们预计,在Kimi的示范效应下,越来越多厂商将效仿其超长文本处理的思路,加大在算法架构、数据压缩、推理加速等方面的研发投入。随着业界的技术积累和创新突破,长文本支持有望在今年内成为大模型的标准配置。

▍风险因素:

AI核心技术发展不及预期风险;科技领域政策监管持续收紧风险;私有数据相关的政策监管风险;全球宏观经济复苏不及预期风险;宏观经济波动导致欧美企业IT支出不及预期风险;AI潜在伦理、道德、用户隐私风险;企业数据泄露、信息安全风险;行业竞争持续加剧风险等。

▍投资策略:

本次月之暗面更新的Kimi长文本版本取得了实质性技术突破,将输入文本长度的上限提升至200万字,刷新了当前业界的最高纪录。我们认为,Kimi的这一进展将引领大模型厂商掀起新一轮技术革新浪潮。长文本输入能力是实现多模态处理的关键前提,而多模态内容,尤其是视频和图像的UGC(用户生成内容),仍然是AI应用层面的核心增长点。从技术实现角度看,长文本处理主要受限于工程优化和成本控制能力。随着业界对超长文本的支持需求不断提升,我们预计硬件基础设施也将随之升级,以满足海量文本数据的存储和计算要求。因此,我们持续看好AI算力层面的投资机会,特别是在商业应用日趋成熟的背景下,推理侧算力有望迎来更大的增长空间。

来源:券商研报精选

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

利多星股票推荐是否可靠超详细退... 利多星智投不可信,推荐的股票不靠谱,交的服务费是可以退的,虚假宣传推荐垃圾票亏损严重,维权已退款,退...
湖南金证投顾老师荐股亏损会员费... 湖南金证投顾老师荐股亏损会员费可挽回,推垃圾股导致亏损,退费成功经验公开大家能在湖南金证投顾缴费,相...
阿里、小米、京东抢滩青年公寓,... 文/耿朴凡 一线大厂,正纷纷闯入长租公寓赛道。 近期,阿里巴巴首家高品质人才公寓亲橙寓在南京建邺投入...
喃瓜订购app无期货交易资质违...  喃瓜订购app无期货交易资质违法开展期货交易平台亏损完了怎么退?可以维权追回输的钱,成功退款方法!...
中和应泰怎么样交费炒股反倒亏钱... 中和应泰交29800元可以退吗?其中套路防不胜防!让人心惊胆战!上海中和应泰证券实力真有业务员宣传的...
上海海能投顾收费荐股,可以退!... 上海海能投顾收费荐股,可以退!退费资讯!在监管的灰色边缘,众多投资顾问依然疯狂揽客;在高利益诱惑下,...
中和应泰好人好股筹码峰软件可靠... 中和应泰交29800元可以退吗?其中套路防不胜防!让人心惊胆战!上海中和应泰证券实力真有业务员宣传的...
兴鑫订购APP涉非法期货交易虚... 兴鑫订购APP涉非法期货交易虚假宣传输的钱怎么退安全吗?找大卫可以追回亏损,成功退款方法!白银投资里...
上海海能投顾服务费被骗如何退?... 上海海能投顾服务费被骗如何退?虚假宣传欺骗股民,频频亏损真相揭露,已依法退费!证券投资咨询行业的本质...
abc亚商投顾这个公司怎么样诱... 在上海亚.商投资交的高额服务费可以退吗?答:可以退,告诉大家一个好消息,在上海亚.商投资交费的,只要...