精选国内外AI工具, 查看最新收录

GPU 云主机

按具体模型、量化方式与GPU架构选配置,结合官方部署基准和使用时长比较成本。

选机助手
模型规模
精度

通用计算按参数量 × 每参数字节数 × 1.2预估权重容量;具体模型请结合下方官方基准选择输入长度、精度和框架。工作流按所选版本的显存要求匹配,国产卡请使用详情中的对应适配框架。

入门推理与个人学习

小模型先从量化推理筛选,并给上下文与并发预留显存。短时使用比较按量预算,长期使用再核对包月报价。

查看 RTX 3090 实例 →

微调与中型模型

将推理与 LoRA 微调分别核算;微调还涉及梯度、优化器和批量,不能只按模型权重判定显存。

查看 A100 实例 →

大模型部署与训练

部署需核对模型精度、框架与 GPU 互联;多卡训练另需确认并行策略、通信带宽和集群支持。

查看 H100 实例 →
按模型选配置:官方显存基准、微调预算与视频部署

下面保留官方测试的输入长度、输出长度、精度与硬件。显存档位为本站选型建议;不同架构的量化支持见实例详情。

建议显存档部署样例输入 + 输出 tokens官方显存占用测试环境依据
8–12GBQwen2.5-7B GPTQ-Int46144 + 20486.52GBA100 / TransformersQwen官方基准 ↗
16GBQwen3-14B AWQ-INT46144 + 204811020MBH20 / TransformersQwen官方基准 ↗
24GBQwen3-32B AWQ-INT46144 + 204820795MBH20 / TransformersQwen官方基准 ↗
32–40GBQwen3-14B BF166144 + 204829495MBH20 / TransformersQwen官方基准 ↗
48–64GBQwen2.5-72B AWQ6144 + 204842.13GBA100 / TransformersQwen官方基准 ↗
80GB+Qwen3-32B BF1630720 + 204870728MBH20 / TransformersQwen官方基准 ↗

两套Qwen基准均为单批次。表中MB/GB沿用原文单位,测试包含列出的生成长度;不要把不同测试环境的速度混作同一实例性能。

微调与全量训练分开选

LlamaFactory的硬件预算表将7B LoRA预估为16GB、14B LoRA为32GB;4-bit QLoRA对应7B约6GB、14B约12GB、30B约24GB、70B约48GB。长序列、批量、优化器与检查点策略会改变实际预算。普通混合精度全量训练7B预估120GB,不能把“能推理”写成“能全量训练”。 查看项目预算表 ↗

视频生成要对应模型版本

Wan2.2 TI2V-5B官方提供24GB单卡720P(1280×704)的卸载部署方案,选项包含offload_model、convert_model_dtype和t5_cpu;80GB以上可按文档取消卸载以减少传输开销。它不等于A14B、S2V或其他ComfyUI节点的通用24GB保证。 Wan2.2官方部署说明 ↗

按 GPU:
地区:排序:
厂商实例 / GPU显存其他配置按时价格包月价格推荐模型与部署条件
推荐工具↑ ↓ 选择 Enter 打开