ComfyUI · 图像生成
图片工作流:qwen-image-instantX工作流
Qwen-Image 基础文生图 + InstantX ControlNet Union(结构控制)+ Lightning 8 步加速 LoRA。用一张参考图提取结构(深度图),让生成图严格按参考构图走。
ComfyUIControlNet 结构控制出图(姿态 / 线稿 / 深度控图) 免费获取 难度:中级 Qwen-ImageInstantXControlNet深度控图结构控制
效果预览










工作流说明
Qwen-Image 基础文生图 + InstantX ControlNet Union(结构控制)+ Lightning 8 步加速 LoRA。用一张参考图提取结构(深度图),让生成图严格按参考构图走。
链路:
- Step1-Load models:UNET(qwen_image fp8)+ Lightning 8steps V2.0 LoRA(强度 1.00)+ CLIP(qwen_2.5_vl_7b)+ VAE(qwen_image_vae)+ ControlNet(Instantx Union)
- Step2-Upload reference image:参考图(缩放到 768×1024)→ DepthAnythingV2Preprocessor(comfyui_controlnet_aux)提取深度图
- ControlNet 应用:应用ControlNet(旧版高级),强度 0.80,作用区间 0%–80%
- Step3-Prompt:CLIP 文本编码
- 采样:K采样器——移位 3.10、CFG 1.5、euler/simple、种子 randomize → VAE 解码 → 保存图像
- 作者注释:
- "Set cfg to 1.0 for a speed boost at the cost of consistency."(cfg 设 1.0 提速,但牺牲一致性)
- "The official number of steps is 50 but i think that's too much. Even just 10 steps seems to work."(官方 50 步,实测 10 步就够)
下载渠道:HuggingFace 搜索 Qwen-Image(Comfy-Org repackaged 版)与 Qwen-Image-InstantX ControlNet Union、Qwen-Image-Lightning。
节点结构
节点结构截图待补充
运行环境与硬件要求
主模型Qwen-Image 20B fp8_e4m3fn (权重约 20GB 级,估算)
文本编码器Qwen2.5-VL 7B fp8 (轻量)
显存生图任务, fp8 + 8 步 LoRA ,消费级 16GB+ 可跑(估算)
最低显存16 GB
需要下载的模型
| 文件 | 类型 | 大小 | 放置目录 | 下载 |
|---|---|---|---|---|
qwen_image_fp8_e4m3fn.safetensors | UNET 主模型 | models/diffusion_models | ||
Qwen-Image-Lightning-8steps-V2.0-bf16.safetensors | 8 步加速 LoRA | models/loras | ||
qwen_2.5_vl_7b_fp8_scaled.safetensors | CLIP 文本编码器 | models/text_encoders | ||
qwen_image_vae.safetensors | VAE | models/vae | ||
Qwen-Image-Instantx-ControlNet-Union… | ControlNet (结构控制) | models/controlnet |
需要安装的自定义节点
| 节点包 | 用途 | 安装方式 |
|---|---|---|
| comfyui_controlnet_aux | DepthAnythingV2Preprocessor 、 Aux 集成预处理器 | ComfyUI-Manager 搜索安装 |
| essentials | 图像缩放 | ComfyUI-Manager 搜索安装 |
| 其余(UNET 加载器 /ControlNet 应用 / 空 Latent/K 采样器等) | ComfyUI 内置 | ComfyUI 内置,无需安装 |
使用步骤
- 上传参考图(构图模板)
- 写正面提示词
写画面内容;DepthAnything 只控结构不控风格,提示词决定风格。
- Queue
深度提取 → ControlNet 注入 → 8 步采样 → 保存(768×1024)。
关键参数说明
| 参数 | 所在节点 | 设置 | 说明 |
|---|---|---|---|
| ControlNet 强度 | 0.80 | 结构遵循力度 | |
| 开始 / 结束百分比 | 0.000 / 0.800 | 只在前 80% 步数注入 | |
| 步数 | 低步数(LoRA 加速;作者注释:官方 50 步太多, 10 步可用) | ||
| CFG | 1.5 (提速可改 1.0 ,牺牲一致性) | ||
| 采样器 / 调度器 | euler / simple | ||
| 移位 | 3.10 | ||
| Latent | 768 × 1024 | ||
| LoRA 强度 | 1.00 |
常见问题与报错
画面像参考图的"翻版"
ControlNet 强度 0.8 偏高,降到 0.5–0.6 只保留构图。
结构不走参考图
确认深度预处理器输出有图(预览节点看一眼),参考图过暗会提不出深度。
偏移值调节
InstantX/此类大模型 ControlNet 对 shift 敏感,画面发糊先动移位(3.10 上下微调)。
更新记录
- v1InstantX Union + Lightning 8steps


