精选国内外AI工具, 查看最新收录

阿里发布Qwen2.5-Omni全模态大模型

Qwen 官方博客 返回资讯

阿里通义千问团队发布了Qwen2.5-Omni,这是Qwen系列新的旗舰级端到端多模态模型。该模型采用名为Thinker-Talker的新架构:Thinker负责理解文本、音频和视频等输入并生成高层表示和文本,Talker则以流式方式接收这些表示并输出语音token。团队还提出TMRoPE位置编码方案,用于同步视频输入与音频的时间戳。模型支持分块输入和即时输出的实时交互,已开源至Hugging Face、ModelScope、DashScope和GitHub,用户可在Qwen Chat中试用7B版本。 这一发布值得关注的地方在于,它把多模态感知和语音生成整合进了单一模型,而非将多个专用模型拼接。在OmniBench等多模态整合任务上,Qwen2.5-Omni达到了当前最优水平;在单模态任务中,其音频能力超过同尺寸的Qwen2-Audio,图像推理与Qwen2.5-VL-7B相当。端到端语音指令跟随的表现也接近文本输入的效果。这意味着开源社区获得了一个可以在实时语音对话、视频理解等场景中直接使用的全模态基座,降低了开发者构建多模态应用的门槛。 对开发者和研究者来说,Qwen2.5-Omni提供了可直接下载的权重和论文,适合用于语音助手、实时翻译、视频内容理解等方向的实验和产品原型开发。对产品团队而言,其流式语音生成和分块输入机制意味着可以构建低延迟的语音交互体验。普通用户则可以通过Qwen Chat直接体验7B版本的多模态对话能力,感受文字、图片、语音混合输入的实际效果。


原文:Qwen 官方博客

资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。查看原始来源 ↗

会员留言

推荐工具↑ ↓ 选择 Enter 打开