百川智能和零一万物否认停止预训练大模型
经济观察网 记者 任晓宁 10月12日，针对旗下大模型已经停止预训练的传言，零一万物和百川智能均对经济观察网做了否认。
近日有传言称，“大模型六小虎”中已有两家企业停止预训练。“大模型六小虎”通常被业界用来形容6家头部大模型创业公司，包括智谱、MiniMax、百川智能、零一万物、阶跃星辰、月之暗面。
其中有几家公司近期出现了较大的动作。智谱与MiniMax发布了视频模型，月之暗面发布大模型版本更新，阶跃星辰发布了万亿参数大模型。相比而言，百川智能和零一万物今年动作较小，因此被外界猜测是已停止预训练的两家企业。
预训练是一种深度学习模型的训练策略，这种策略可以让模型学习到更多信息，不断提高模型性能。停止预训练，意味着企业将不再投入资源研发新模型，而是利用已有的模型进行应用开发，企业的发展方向将发生重大变化。
对于上述传言，零一万物创始人李开复10月11日晚上在朋友圈发文说，零一万物一直在做预训练，去年和今年发布的Yi-34B、Yi-Large、Yi-Coder、Yi- VL、Yi-Vision都是发布时全球第一梯队，国内领先的预训练模型。而且零一万物的新预训练模型也即将推出。
据经济观察网了解，李开复所说的新预训练模型将于下周发布。
百川智能也否认了停止预训练的说法。百川智能向经济观察网回应，百川智能的预训练团队稳定，预训练工作正在稳步推进，并不存在放弃预训练一说。
今年5月，百川智能发布了千亿参数模型Baichuan 4，其今年的重点发展方向是AI医疗。百川智能方面称，其在基础模型和AI应用方面均取得了阶段性进展，相关成果将很快面世。
今年以来，有一批大模型公司停下了研发的脚步。据经济观察网统计，截至2024年10月9日，在188个通过网信办生成式人工智能备案的大模型中，超过三成的大模型在通过备案后未进一步公开其进展情况，仅有约一成的大模型仍在加速训练，接近一半的大模型转向了AI应用的开发。
一位大模型技术人士告诉经济观察网，预训练既要烧钱又要烧数据，对中小公司来说，当投入与回报不成正比时，及时止损是正确的选择。但同时，预训练模型也是大模型公司的底层核心技术，头部公司和大厂不能停止预训练，停了就意味着走下牌桌。