GPU 云主机
按具体模型、量化方式与GPU架构选配置,结合官方部署基准和使用时长比较成本。
选机助手
模型规模
精度
通用计算按参数量 × 每参数字节数 × 1.2预估权重容量;具体模型请结合下方官方基准选择输入长度、精度和框架。工作流按所选版本的显存要求匹配,国产卡请使用详情中的对应适配框架。
微调与中型模型
将推理与 LoRA 微调分别核算;微调还涉及梯度、优化器和批量,不能只按模型权重判定显存。
查看 A100 实例 →
大模型部署与训练
部署需核对模型精度、框架与 GPU 互联;多卡训练另需确认并行策略、通信带宽和集群支持。
查看 H100 实例 →
按模型选配置:官方显存基准、微调预算与视频部署
下面保留官方测试的输入长度、输出长度、精度与硬件。显存档位为本站选型建议;不同架构的量化支持见实例详情。
| 建议显存档 | 部署样例 | 输入 + 输出 tokens | 官方显存占用 | 测试环境 | 依据 |
|---|
| 8–12GB | Qwen2.5-7B GPTQ-Int4 | 6144 + 2048 | 6.52GB | A100 / Transformers | Qwen官方基准 ↗ |
| 16GB | Qwen3-14B AWQ-INT4 | 6144 + 2048 | 11020MB | H20 / Transformers | Qwen官方基准 ↗ |
| 24GB | Qwen3-32B AWQ-INT4 | 6144 + 2048 | 20795MB | H20 / Transformers | Qwen官方基准 ↗ |
| 32–40GB | Qwen3-14B BF16 | 6144 + 2048 | 29495MB | H20 / Transformers | Qwen官方基准 ↗ |
| 48–64GB | Qwen2.5-72B AWQ | 6144 + 2048 | 42.13GB | A100 / Transformers | Qwen官方基准 ↗ |
| 80GB+ | Qwen3-32B BF16 | 30720 + 2048 | 70728MB | H20 / Transformers | Qwen官方基准 ↗ |
两套Qwen基准均为单批次。表中MB/GB沿用原文单位,测试包含列出的生成长度;不要把不同测试环境的速度混作同一实例性能。
微调与全量训练分开选
LlamaFactory的硬件预算表将7B LoRA预估为16GB、14B LoRA为32GB;4-bit QLoRA对应7B约6GB、14B约12GB、30B约24GB、70B约48GB。长序列、批量、优化器与检查点策略会改变实际预算。普通混合精度全量训练7B预估120GB,不能把“能推理”写成“能全量训练”。 查看项目预算表 ↗
视频生成要对应模型版本
Wan2.2 TI2V-5B官方提供24GB单卡720P(1280×704)的卸载部署方案,选项包含offload_model、convert_model_dtype和t5_cpu;80GB以上可按文档取消卸载以减少传输开销。它不等于A14B、S2V或其他ComfyUI节点的通用24GB保证。 Wan2.2官方部署说明 ↗
按 GPU:
地区:排序:
↔左右滑动查看配置与价格
| 厂商 | 实例 / GPU | 显存 | 其他配置 | 按时价格 | 包月价格 | 推荐模型与部署条件 |
|---|