精选国内外AI工具, 查看最新收录
ComfyUI · 图像生成

图片工作流:qwen-image-instantX工作流

Qwen-Image 基础文生图 + InstantX ControlNet Union(结构控制)+ Lightning 8 步加速 LoRA。用一张参考图提取结构(深度图),让生成图严格按参考构图走。

ComfyUIControlNet 结构控制出图(姿态 / 线稿 / 深度控图) 免费获取 难度:中级 Qwen-ImageInstantXControlNet深度控图结构控制
作者 ganai02 · v1 · 更新于 · 下载 2 次

效果预览

工作流说明

Qwen-Image 基础文生图 + InstantX ControlNet Union(结构控制)+ Lightning 8 步加速 LoRA。用一张参考图提取结构(深度图),让生成图严格按参考构图走。

链路:

  1. Step1-Load models:UNET(qwen_image fp8)+ Lightning 8steps V2.0 LoRA(强度 1.00)+ CLIP(qwen_2.5_vl_7b)+ VAE(qwen_image_vae)+ ControlNet(Instantx Union)
  2. Step2-Upload reference image:参考图(缩放到 768×1024)→ DepthAnythingV2Preprocessor(comfyui_controlnet_aux)提取深度图
  3. ControlNet 应用:应用ControlNet(旧版高级),强度 0.80,作用区间 0%–80%
  4. Step3-Prompt:CLIP 文本编码
  5. 采样:K采样器——移位 3.10、CFG 1.5、euler/simple、种子 randomize → VAE 解码 → 保存图像
  • 作者注释:
  • "Set cfg to 1.0 for a speed boost at the cost of consistency."(cfg 设 1.0 提速,但牺牲一致性)
  • "The official number of steps is 50 but i think that's too much. Even just 10 steps seems to work."(官方 50 步,实测 10 步就够)

下载渠道:HuggingFace 搜索 Qwen-Image(Comfy-Org repackaged 版)与 Qwen-Image-InstantX ControlNet Union、Qwen-Image-Lightning。

节点结构

节点结构截图待补充

运行环境与硬件要求

主模型Qwen-Image 20B fp8_e4m3fn (权重约 20GB 级,估算)
文本编码器Qwen2.5-VL 7B fp8 (轻量)
显存生图任务, fp8 + 8 步 LoRA ,消费级 16GB+ 可跑(估算)
最低显存16 GB
显存不够?查看 GPU 云主机 →

需要下载的模型

文件类型大小放置目录下载
qwen_image_fp8_e4m3fn.safetensorsUNET 主模型models/diffusion_models
Qwen-Image-Lightning-8steps-V2.0-bf16.safetensors8 步加速 LoRAmodels/loras
qwen_2.5_vl_7b_fp8_scaled.safetensorsCLIP 文本编码器models/text_encoders
qwen_image_vae.safetensorsVAEmodels/vae
Qwen-Image-Instantx-ControlNet-Union…ControlNet (结构控制)models/controlnet

需要安装的自定义节点

节点包用途安装方式
comfyui_controlnet_auxDepthAnythingV2Preprocessor 、 Aux 集成预处理器ComfyUI-Manager 搜索安装
essentials图像缩放ComfyUI-Manager 搜索安装
其余(UNET 加载器 /ControlNet 应用 / 空 Latent/K 采样器等)ComfyUI 内置ComfyUI 内置,无需安装

使用步骤

  1. 上传参考图(构图模板)

  2. 写正面提示词

    写画面内容;DepthAnything 只控结构不控风格,提示词决定风格。

  3. Queue

    深度提取 → ControlNet 注入 → 8 步采样 → 保存(768×1024)。

关键参数说明

参数所在节点设置说明
ControlNet 强度0.80结构遵循力度
开始 / 结束百分比0.000 / 0.800只在前 80% 步数注入
步数低步数(LoRA 加速;作者注释:官方 50 步太多, 10 步可用)
CFG1.5 (提速可改 1.0 ,牺牲一致性)
采样器 / 调度器euler / simple
移位3.10
Latent768 × 1024
LoRA 强度1.00

常见问题与报错

画面像参考图的"翻版"

ControlNet 强度 0.8 偏高,降到 0.5–0.6 只保留构图。

结构不走参考图

确认深度预处理器输出有图(预览节点看一眼),参考图过暗会提不出深度。

偏移值调节

InstantX/此类大模型 ControlNet 对 shift 敏感,画面发糊先动移位(3.10 上下微调)。

更新记录

  • v1InstantX Union + Lightning 8steps
推荐工具↑ ↓ 选择 Enter 打开