阿里开源百万级上下文大模型Qwen2.5-1M
阿里通义千问团队发布了Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M两个开源模型,将开源模型上下文长度从128K提升到100万token。同时开源了基于vLLM的推理框架,结合稀疏注意力方法,处理百万token输入的速度比原来快3到7倍。官方还放出了技术报告,涵盖训练和推理框架的设计思路及消融实验。用户可以在HuggingFace和ModelScope上直接体验。 百万token上下文此前只有闭源商业模型才能做到,比如Qwen2.5-Turbo和部分GPT-4变体。这次开源意味着开发者可以在本地或私有环境中部署超长上下文模型,不需要按token付费调用API。14B版本在多个长文本评测中超过GPT-4o-mini,对需要处理长文档、代码库分析、法律合同审查等场景的团队来说,多了一个可自主控制的开源选项。推理框架的开源也降低了部署门槛。 对开发者而言,最直接的价值是可以拿这两个模型处理整本书、完整代码仓库或超长对话历史,而不必做分段截断。7B版本适合显存有限的场景,14B版本在长文本理解上更强。如果你在做RAG、文档问答或需要模型记住大量上下文的应用,可以基于开源的vLLM框架自行部署测试,根据实际效果决定是否替代现有方案。
原文:Qwen 官方博客
资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。查看原始来源 ↗
会员留言