ComfyUI · 视频
视频工作流:Wan2.2-Animate(角色替换_动作迁移)
把参考图里的角色"套进"一段参考视频的动作里:角色替换 + 动作迁移一体。
ComfyUI角色替换 / 动作迁移(视频人物换脸换人 + 动作表情保留) 免费获取 难度:高级 Wan2.2 Animate角色替换视频换人动作迁移SAM2
效果预览
工作流说明
把参考图里的角色"套进"一段参考视频的动作里:角色替换 + 动作迁移一体。链路分五大块:
- 参考视频遮罩获取:VHS 加载视频(示例 小姐姐跳舞姿态参考.mp4,16fps,帧数上限 97)→ SAM2(sam2_hiera_base_plus.safetensors,cuda/fp16)按点提示分割出人物 → 扩展遮罩(扩展 10,倒角 true)→ 分块遮罩(块 32)
- 骨骼/脸部动态获取:DW 姿态预处理器(comfyui_controlnet_aux,dw-ll_ucoco_384_bs5.torchscript.pt)逐帧提取姿态;BBox 检测(yolox_l.torchscript.pt)定人物框;KJNodes「从姿态关键点生成脸部遮罩」单独抠面部
- 参考图:加载角色图(示例 美女素材.png)→ 图像缩放V2(KJ)→ 合并图像与遮罩
- Models 选择 + 采样:wan2.2_animate_14B_bf16.safetensors 主模型 + 三路 LoRA(lightx2v I2V 1.00 / PusaV1 1.00 / relight 1.00)+ CLIP Vision(clip_vision_h.safetensors)→ Wan动画转视频 节点接收:参考图像 / 面部视频 / 姿态视频 / 背景视频 / 角色遮罩 → K采样器(CFG 1.0,euler/simple,shift 8.0)
- 输出:修剪视频 Latent → VAE 解码 → RIFE 插帧→ 多路 VHS 合并(Wanimate 前缀,h264-mp4 crf19)
另有 KJNodes 的 Enable 开关组:Enable参考视频遮罩获取 / Enable宽高帧数 / Enable参考图 / Enable骨骼脸部动态获取 / Enable多视频组合 / EnableModels选择 / Enable采样模块 / Enable只需要动作迁移就…——只需要动作迁移时可禁用遮罩相关两组。
节点结构
节点结构截图待补充
运行环境与硬件要求
主模型wan2.2_animate 14B bf16—— 未量化的 bf16,显存需求高于 fp8 版 (单文件约 27GB 级,估算),依赖 offload
辅助模型SAM2 + DW pose + YOLOx ,都是轻量模型
特点逐帧跑姿态 / 分割预处理, CPU/GPU 混合,预处理耗时占比较大
最低显存24 GB
需要下载的模型
| 文件 | 类型 | 大小 | 放置目录 | 下载 |
|---|---|---|---|---|
wan2.2_animate_14B_bf16.safetensors | 主模型(Animate) | models/diffusion_models | ||
Wan21_I2V_14B_lightx2v_cfg… | 加速 LoRA (强度 1.00) | models/loras | ||
Wan21_PusaV1_LoRA_14… | 风格 LoRA (强度 1.00) | models/loras | ||
WanAnimate_relight_lora_f… | 重打光 LoRA (强度 1.00 ,角色融入背景用) | models/loras | ||
umt5_xxl_fp8_e4m3fn_scaled.s… | CLIP 文本编码器 | models/text_encoders | ||
wan_2.1_vae.safetensors | VAE | models/vae | ||
clip_vision_h.safetensors | CLIP 视觉编码器 | models/clip_vision | ||
sam2_hiera_base_plus.safetensors | SAM2 分割模型(segment-anything-2 节点包可自动下载) | | ||
yolox_l.torchscript.pt | 人物 BBox 检测 | | ||
dw-ll_ucoco_384_bs5.torchscript.pt | DW 姿态模型(comfyui_controlnet_aux 可自动下载) | | ||
rife47.pth | RIFE 插帧 | |
需要安装的自定义节点
| 节点包 | 用途 | 安装方式 |
|---|---|---|
| ComfyUI-VideoHelperSuite | 加载视频、合并为视频、图像合并 (多个) | ComfyUI-Manager 搜索安装 |
| ComfyUI-KJNodes | 点编辑器、扩展遮罩、分块遮罩、图像缩放 V2 、从姿态关键点生成脸部遮罩、按遮罩裁剪并缩放、整数常量、 Get/Set | ComfyUI-Manager 搜索安装 |
| ComfyUI-segment-anything-2(kijai) | 下载并加载 SAM2 模型、 SAM2 分割 | ComfyUI-Manager 搜索安装 |
| comfyui_controlnet_aux | DW 姿态预处理器 | ComfyUI-Manager 搜索安装 |
| ComfyUI-Frame-Interpolation | RIFE 智能动画师 | ComfyUI-Manager 搜索安装 |
| WanVideoWrapper(kijai) | 工作流 #120 处相关辅助节点 | ComfyUI-Manager 搜索安装 |
| ComfyUI 内置 | Wan 动画转视频、 LoRA 加载器、 CLIP 视觉加载器等 | ComfyUI 内置,无需安装 |
使用步骤
- 角色替换用法
上传角色参考图 + 动作参考视频,SAM2 点编辑器里点选视频里要替换的人物 → 全链路跑完,角色按参考视频的节奏动起来。
- 纯动作迁移用法
按工作流注释,禁用"参考视频遮罩获取"与相关两组(Enable 开关切 no),只保留姿态/面部动态驱动。
- 确认视频规格
16fps / 832×480 / 97 帧上限(约 6 秒)。
- 提示词写画面内容
- 输出多路视频
姿态预览、遮罩预览、成品(Wanimate 前缀)。
关键参数说明
| 参数 | 所在节点 | 设置 | 说明 |
|---|---|---|---|
| 强制帧率 | 16 | 加载视频 | |
| 帧数读取上限 | 97 | 单次生成上限 | |
| 分辨率 | 832 × 480 | 整数常量区 | |
| CFG | 1.0 | ||
| 采样器 / 调度器 | euler / simple | ||
| 移位 | 8.00 | ||
| SAM2 分割器 | video 模式, cuda , fp16 | ||
| 扩展遮罩 | 扩展 10 / 倒角 true | 边缘羽化 | |
| 分块遮罩 | 块大小 32 | ||
| LoRA 强度 | 三路全部 1.00 | ||
| RIFE | rife47 ,快速模式 true | 倍数见工作流 | |
| crf | 19 |
常见问题与报错
抠像边缘破
SAM2 正/负坐标点没点准——正点点人物、负点点背景;扩展遮罩 10 不够就加大。
脸部不随参考视频
确认「从姿态关键点生成脸部遮罩」→「面部视频」这条线接通。
换装/融合怪
relight LoRA(重打光)负责角色融进新背景,强度 1.0 是默认;角色和参考视频光线差异极大时优先调它。
姿态预处理器报错
DW 模型文件没下载全(bs5 版本),首次运行让 controlnet_aux 自动下载或手动放。
显存不足
主模型是 bf16,必要时换 fp8 量化版(模型名对应的 Repackaged 版本)。
更新记录
- Animate v1角色替换 + 动作迁移一体版












