核心看点

7 月 15 日,阿里巴巴正式发布 Qwen-Audio-3.0-Realtime,一款面向实时对话场景的语音交互模型。新模型在推理能力、工具调用、情感表达和双工交互四个方面都有升级。

该系列分两个版本:

两者均已通过阿里云百炼(北京地域)上线。

函数调用:模型自己决定调什么工具

Qwen-Audio-3.0-Realtime 支持函数调用(function calling)。开发者可以接入地图、数据库、知识库等服务,模型在对话中自行判断何时调用这些工具——比如用户说"帮我查到上海虹桥站最近一班高铁",模型自动触发查询接口并返回结果。

这在语音场景下比文本更实用,因为语音对话通常节奏更快、打断更密集,手动触发工具不现实。

情感表达和共情对话

模型在语音表达上做了几个有意思的改进:

阿里的测试数据称,该模型在 VStyle 基准(评估语音风格适应能力的中英双语公开测试)上拿了当前最佳成绩。

双工交互:多人说话也不乱

Qwen-Audio-3.0-Realtime 在嘈杂环境下的表现也有改进。模型能识别主要对话对象,降低旁人说话造成的误打断。在多说话者场景下,结合上下文判断谁在说话,在说话者之间切换。

两款模型通过 WebSocket 接收音频和文本输入,流式输出语音和文本。这意味着开发者可以按需选择纯文本、纯音频或音文混合的交互方式。

市场和实用场景

阿里的目标市场是四个方向:智能客服、教育培训、娱乐互动、情感陪伴。从模型能力看,Plus 版更适合需要推理深度的客服和培训场景,Flash 版主打响应速度敏感的互动和陪伴场景。

与同类产品相比,Qwen-Audio-3.0-Realtime 的差异化在于函数调用 + 情感表达的组合——能在对话中实时调用外部数据,同时维持自然的语音交互节奏。不过目前只在北京地域上线,其他地区开发者需要等待后续扩展。