智东西

作者 | 茄子

编辑 | 程茜

智东西7月15日消息，今天上午，阿里云正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime，还一并推出了Plus和Flash版本。

千问称，该模型在保持毫秒级时延响应的基础上，进一步增强了工具调用、多轮对话、情感表达和实时交互能力。比如，在路线规划场景中，用户无需明确发出“帮我查一下”之类的指令，只需告知自己的时间安排和需求，Qwen-Audio-3.0-Realtime便能理解上下文，自主判断何时调用地图工具。

同时，如果用户安排里有喝咖啡，该模型可以自动筛选附近评分高的咖啡馆，并在获取信息后继续完成路线和时间规划。

▲Qwen-Audio-3.0-Realtime帮助用户进行路线规划

相比传统语音助手需要依赖明确指令触发工具调用，该模型不仅能听懂用户表达、理解任务目标、判断调用工具的时机，还能将工具查找的信息无缝融入后续对话。

根据官方基准测试，在语音问答基准VoiceBench中，用书面化标准提示词和口语化提示词提问，Qwen-Audio-3.0-Realtime Plus版本得分分别为92.5和90.5，差距仅2.0分，这意味着该模型能扛住真人说话的随意性。在S2S语音指令遵循公开基准VStyle上，该模型取得SOTA成绩。

今年5月，该模型的Preview版本Fun-Realtime-Audiochat在“语音推理能力”和“对话流畅度”两项指标上分别以97.6%和97.8%登顶Artificial Analysis，超过GPT-Realtime-2（High）。

在价格方面，该模型按token计费，输入音频、输出文本和输出语音统一折算token，输入价格分别为Plus版5元/百万token、Flash版3元/百万token，输出价格分别为Plus版40元/百万token、Flash版30元/百万token。

▲Qwen-Audio-3.0-Realtime Plus和Flash版本价格（智东西制图）

千问称，Qwen-Audio-3.0-Realtime能在压低时延的同时不掉智商，核心技术支撑来自在线策略蒸馏和多教师蒸馏框架。该模型的研究团队将文本大模型的完整推理能力蒸馏至语音模型，同时通过多教师蒸馏策略确保该模型在口语、问答与推理、工具调用和音频理解四条主线上不偏科。

该模型目前可通过阿里云百炼调用API进行体验。

体验地址：

Qwen-Audio-3.0-Realtime-Plus：

Qwen-Audio-3.0-Realtime-Flash：

一、Agent能力升级：支持自主调用工具、情绪表达和可打断实时对话

千问通过多个官方案例展示了Qwen-Audio-3.0-Realtime在自主调用工具、情感交互以及可打断实时对话等方面的能力。

过去，语音模型存在“能聊天不能办事”的问题，需要用户明显说出“帮我打开XX”才能触发工具，并且切回闲聊后容易出现上下文断裂。千问称，Qwen-Audio-3.0-Realtime无需明确指令即可自行调用外部工具，并且调用结果还会自动融入对话记忆，一次调用的结果会被记住，后面几轮追问都能接着用。

例如，用户先问“附近有什么川菜馆”，再追问“评分4.5以上的哪家最近”，该模型会自动衔接地图工具上一次的返回结果继续检索。

在共情能力方面，Qwen-Audio-3.0-Realtime去掉了传统语音助手的机械感，可根据对话语境动态调整语气、节奏、音调与情感。比如，与该模型分享开心或难过的事时，Qwen-Audio-3.0-Realtime可以根据用户的语气和心情输出并与用户进行对话。

▲Qwen-Audio-3.0-Realtime回答用户情感问题

千问称，Qwen-Audio-3.0-Realtime在沟通流畅度方面也进行了提升，在官方测评中，它可以根据用户说的话调整自己的回答，被用户打断后也能根据用户的新问题进行回答。

比如让该模型安排旅游攻略，在与它交流的过程中，用户可以随时转换问题，不需要等它输出完，并且，它可以及时跟上用户思维进行连贯的对话。

▲Qwen-Audio-3.0-Realtime被打断后也能流畅对话

二、口语化输入不掉分，Qwen-Audio-3.0-Realtime多项基准测试领先

据阿里云官方公布的数据，Qwen-Audio-3.0-Realtime在多项公开基准测试中表现稳定：

在语音问答基准VoiceBench中，首先以书面化标准提示词进行提问，接着以口语化提示词对该模型提问，Qwen-Audio-3.0-Realtime Plus版本得分分别为92.5和90.5，差距仅2.0分，这说明，语音模型越来越能适应真人说话的随机性。

在更难的多轮音频对话挑战AudioMultiChallenge基准测试中，该模型Flash版本回答标准和口语化提示词提问得分分别为43.6和38.1，差距仅5.5分。

在专门考察“AI说得像不像人”的S2S语音指令遵循公开基准VStyle上，该模型取得SOTA成绩，达到当前公开模型在这项测试上的最高水平

▲Qwen-Audio-3.0-Realtime在VStyle上取得SOTA成绩（图源：千问）

今年5月，该模型的Preview版本Fun-Realtime-Audiochat在“语音推理能力”指标上曾以97.6%登顶Artificial Analysis，超过GPT-Realtime-2（High）。

▲Qwen-Audio-3.0-Realtime Preview版本5月登顶Artificial Analysis（图源：千问）

在对话流畅度指标上Preview版本也以97.8%超过GPT-Realtime-2（High）的96.1%，在Artificial Analysis上排名第一。

▲Qwen-Audio-3.0-Realtime Preview版本对话流畅度指标上排名第一（图源：千问）

三、在线策略蒸馏+多教师蒸馏，让语音模型“又快又聪明”

千问团队称，Qwen-Audio-3.0-Realtime的能力提升主要来自于2项策略。一是在线策略蒸馏（On-Policy Distillation），研究团队将文本大模型的推理能力蒸馏至语音模型，使得该语音模型在生成回答时，还能被文本大模型实时纠正。

二是多教师蒸馏策略，研究团队采用四位专攻不同方向的教师：口语多轮偏好教师负责口语化表达与指令遵循；通用教师负责基础问答与推理；Agentic教师负责工具调用与复杂任务；音频理解教师负责副语言与音频语义信息，从而确保该模型在四条主线上均不偏科。

与传统语音助手不同，Qwen-Audio-3.0-Realtime无需明确指令即可自行调用外部工具，调用结果自动融入对话记忆，一次调用的结果后面几轮追问都能接着用。

此外，Qwen-Audio-3.0-Realtime内置“多模态感知的双工控制”子模型，通过分析音频信号、语义内容与说话人声纹特征来判断交互节奏。

该子模型可以使Qwen-Audio-3.0-Realtime在餐厅、开放工区等嘈杂环境中，不会被背景噪声误打断；在多人讨论中也能锁定主对话对象；还在多说话人切换时根据语义线索自然过渡。API预留了audio_prompt字段，用户可上传音频样本锁定特定声纹。

结语：实时语音模型竞争从“低时延”走向“高智商”

在此之前，实时语音模型通常需要在响应速度和推理深度之间做取舍，要么压时延掉智商，要么保智商牺牲实时性。Qwen-Audio-3.0-Realtime则通过在线策略蒸馏和多教师蒸馏，提升了回答的速度和质量。

语音模型的竞争正在从“谁说得快”转向“谁聊得像真人”。毫秒级响应是基础，能自行调用工具、边说边听、随语境调整语气，或许是语音模型下一阶段的发展方向。