模型部署与选型依据
Qwen2.5-7B 4-bit / 轻量RAG
- 容量依据Qwen2.5-7B GPTQ-Int4官方基准:6144输入、2048输出、单批次,显存6.52GB。
- 部署环境Turing可走AWQ/GPTQ支持路径;BF16配置改用FP16,量化内核以当前框架矩阵为准。
- 配置边界8GB档采用短上下文和单请求;12GB档能为运行开销与上下文留出更大余量。
- 微调选型微调规划:LlamaFactory官方预估7B LoRA约16GB、14B QLoRA4约12GB;长序列或更大批量应选更高显存档。
模型显存数字引用项目官方基准,本站按本配置容量与架构给出部署建议;引用条件和硬件见原文。基准吞吐量不作为本云实例的速度承诺。
部署依据核对:2026-11-14
配置参数
GPU
- GPU 型号
- RTX 2080 Ti
- 显存
- 11 GB
实例
- 实例类型
- NVIDIA RTX 2080Ti
- 地区
- 国内
- 适合模型规模
- Qwen2.5-7B 4-bit / 轻量RAG
费用计算器
按量费用—
结论—
只按本页填写的按量价与包月价估算,不含磁盘、流量、公网 IP 等附加费用。
同款 RTX 2080 Ti 价格对比
按已填显存要求筛选的工作流
以下工作流按已填显存要求匹配(≤ 11GB)。
厂商与开通
- 节点地区
- 官网首页未标注机房城市AutoDL 以多地机房著称,下单时在控制台选择(以控制台实际为准)
- 计费方式
- 按量计费(元/小时),会员 95 折官网首页标注包周/包月等长期计费以控制台为准
- 新用户优惠
- 官网首页未列新用户优惠以控制台活动为准
- 实名 / 开通要求
- 官网首页未列实名与绑卡要求以注册流程实际为准
- 系统镜像 / 驱动
- 官网首页未列镜像清单AutoDL 提供主流深度学习框架镜像(以控制台实际为准)
开通步骤
- 注册 AutoDL 账号(autodl.com)
- 在算力市场选择卡型与地区
- 选镜像创建实例,按量计费,会员享 95 折
AutoDL 首页价格卡同时给出单精度/半精度算力参数,方便横向比卡
- H800 80G 半精 756 Tensor TFLOPS、9.98 元/时
- H20 96G 9.98 元/时
- A800-80G 5.59 元/时
- RTX 5090 32G 2.78 元/时单精 104.8 TFLOPS
- V100 32G 与 RTX 4090 24G 均 1.88 元/时
- RTX 3090 24G 1.32 元/时
- RTX 2080Ti 11G 0.88 元/时。完整卡型列表与各地区实时余量需登录控制台查看
详细介绍
适用范围
Qwen2.5-7B 4-bit / 轻量RAG。8GB档采用短上下文和单请求;12GB档能为运行开销与上下文留出更大余量。
可运行模型的选择
Qwen2.5-7B GPTQ-Int4官方基准:6144输入、2048输出、单批次,显存6.52GB。 Turing可走AWQ/GPTQ支持路径;BF16配置改用FP16,量化内核以当前框架矩阵为准。
价格明细
| 按量(元/小时) | 0.88 元/小时 |
|---|---|
| 按量(元/天,约合) | 21.12 元/天(24小时) |
| 其他费用 | 磁盘扩容、流量、公网 IP、存储等附加费用另计,以官网实时价格为准 |
计算示例(按公开按量价):每天使用 8 小时 × 30 天 = 240 小时,约 211 元;全天候 24×30 = 720 小时,约 634 元。
估算只含 GPU 实例按量费用,不含磁盘扩容、流量、公网 IP、存储等附加费用;以官网实时价格为准。
AutoDL 全部公开配置
| GPU 型号 | 显存 | vCPU/内存 | 按量价 | 包日 | 包月 | 抢占式 | 备注 |
|---|---|---|---|---|---|---|---|
| NVIDIA H800 | 80GB | 9.98 元/时 | 单精 51.2 TFLOPS / 半精 756.0 Tensor TFLOPS | ||||
| NVIDIA H20 | 96GB | 9.98 元/时 | 半精算力官网标注暂无 | ||||
| NVIDIA A800-80GB | 80GB | 5.59 元/时 | 单精 19.5 TFLOPS / 半精 312 Tensor TFLOPS | ||||
| NVIDIA RTX 5090 | 32GB | 2.78 元/时 | 单精 104.8 TFLOPS / 半精 210 Tensor TFLOPS | ||||
| NVIDIA V100 | 32GB | 1.88 元/时 | 单精 15.7 TFLOPS / 半精 125 Tensor TFLOPS | ||||
| NVIDIA RTX 4090 | 24GB | 1.88 元/时 | 单精 82.58 TFLOPS / 半精 165.2 Tensor TFLOPS | ||||
| NVIDIA RTX 3090 | 24GB | 1.32 元/时 | 单精 35.58 TFLOPS / 半精 71 Tensor TFLOPS | ||||
| NVIDIA RTX 2080Ti | 11GB | 0.88 元/时 | 单精 13.45 TFLOPS / 半精 53.8 Tensor TFLOPS |
参考资料
- AutoDL.《AutoDL算力云首页价格卡》. www.autodl.com. 2026年11月13日访问.
本文价格与配置数据采集自上述来源网站 2026年11月13日 的公开页面渲染内容;官方未公开的字段(标注『需登录控制台/价格计算器』或『未公开』)一律不推算、不填估值。『可运行模型的选择』『适用范围』中按显存给出的适配建议为通用技术口径,非各平台官方承诺;实际以目标模型的官方显存要求为准。
选机建议
- 7B量化优先,保留上下文空间;Turing量化部署
- 8GB档采用短上下文和单请求;12GB档能为运行开销与上下文留出更大余量。
- 微调规划:LlamaFactory官方预估7B LoRA约16GB、14B QLoRA4约12GB;长序列或更大批量应选更高显存档。
