来源:上海证券报
2月16日,除夕当晚,字节跳动携火山引擎、豆包App,以及Seed系列大模型登上春晚舞台。此次春晚上,字节跳动也第一次从舞美视效、机器人说话到播出保障,全方位展现了其AI实力。
据豆包方面披露,除夕当天豆包AI互动总数达19亿次。其中,除夕当天,豆包大模型的峰值TPM(每分钟token数)出现在21时46分,正是在春晚主持人宣布用豆包进行第二轮互动之后。这一分钟内,豆包大模型的推理吞吐量达到633亿tokens。
同时,在除夕当天,“豆包过年”活动共计帮助用户生成超过5000万张新春主题头像、生成超过1亿条新春祝福。
除了惊人的互动数据量外,作为总台春晚独家AI云合作伙伴,今年由火山引擎提供核心的大模型视频生成、图像生成、空间视频等技术支持,已全面应用到春晚舞美呈现、内容创作中,并与火山引擎视频云团队协同,保障最终内容达到春晚舞台的超高清、高流畅度播出标准。
有接近此次项目的人士对记者表示,最近火遍全球的豆包视频生成模型Seedance2.0,在发布前就已用于多个春晚节目的视觉创作中。
火山引擎相关人士表示,今年除夕,火山引擎基于豆包大模型技术,深度参与到多个节目的创意构思与视觉呈现环节,与总台导演组、制作团队紧密协作,共同探索生成式AI在大型舞台艺术创作中的应用边界。
据火山引擎介绍,以节目《驭风歌》为例,节目希望动态演绎国宝级水墨画。而Seedance2.0不仅精准保留了水墨画的笔触、墨韵,还完成了一系列高难度的运动与镜头调度,保证马匹奔跑动作生动自然的同时,也维持了原作的力量感与节奏感。
据火山引擎相关负责人介绍,该节目AI创作的难点在于要将一幅国宝级水墨画进行动态化演绎,“要根据导演设计的复杂分镜,驱动多个主体,完成一系列高难度的群体运动与镜头调度。”并且该负责人表示,由于过往水墨画训练素材较少,要保持水墨画强烈风格的同时,让奔跑姿态生动,而非僵硬的“贴图动画”,对于模型的泛化能力提出了更高要求。
而在《贺花神》节目中,该模型又展现了极致的细节把控能力。“比如植物缓慢绽放,纹理、层次、光影的细微变化,这些动作非常细微,模型的任何抖动、画面失真都会被放大,视觉效果更接近影视工业中“动画级别”的要求。”据前述负责人介绍,在蜀葵花和金鱼的制作中,Seedance2.0为每位演员定制了“一月一人一景,一花一态一观”的视觉奇观,以“AI生成影像+实景舞台扩展”的模式,构建出一种全新的舞台视听叙事结构。
此外,火山引擎还通过多项AI技术为春晚舞台和抖音直播体验赋能。通过空间视频技术,《梦底》打造了演员3D数字分身同台表演的震撼效果,当镜头移动、现场灯光变化时,分身的视角和光影也会实时同步;春晚上亮相的多款具身智能机器人品牌,均搭载了豆包大模型,实现自然生动的语言交流;同时,依托豆包语音模型,抖音春晚直播间首次上线了全程实时无障碍字幕,覆盖了主持串场、相声、小品等所有无原生字幕的节目,让春晚的欢乐实现了无障碍传递。
作者:罗茂林