精选国内外AI工具, 查看最新收录
ComfyUI · 视频

视频工作流:Wan2.2-Animate(角色替换_动作迁移)

把参考图里的角色"套进"一段参考视频的动作里:角色替换 + 动作迁移一体。

ComfyUI角色替换 / 动作迁移(视频人物换脸换人 + 动作表情保留) 免费获取 难度:高级 Wan2.2 Animate角色替换视频换人动作迁移SAM2
作者 ganai02 · v1 · 更新于 · 下载 1 次

效果预览

工作流说明

把参考图里的角色"套进"一段参考视频的动作里:角色替换 + 动作迁移一体。链路分五大块:

  • 参考视频遮罩获取:VHS 加载视频(示例 小姐姐跳舞姿态参考.mp4,16fps,帧数上限 97)→ SAM2(sam2_hiera_base_plus.safetensors,cuda/fp16)按点提示分割出人物 → 扩展遮罩(扩展 10,倒角 true)→ 分块遮罩(块 32)
  • 骨骼/脸部动态获取:DW 姿态预处理器(comfyui_controlnet_aux,dw-ll_ucoco_384_bs5.torchscript.pt)逐帧提取姿态;BBox 检测(yolox_l.torchscript.pt)定人物框;KJNodes「从姿态关键点生成脸部遮罩」单独抠面部
  • 参考图:加载角色图(示例 美女素材.png)→ 图像缩放V2(KJ)→ 合并图像与遮罩
  • Models 选择 + 采样:wan2.2_animate_14B_bf16.safetensors 主模型 + 三路 LoRA(lightx2v I2V 1.00 / PusaV1 1.00 / relight 1.00)+ CLIP Vision(clip_vision_h.safetensors)→ Wan动画转视频 节点接收:参考图像 / 面部视频 / 姿态视频 / 背景视频 / 角色遮罩 → K采样器(CFG 1.0,euler/simple,shift 8.0)
  • 输出:修剪视频 Latent → VAE 解码 → RIFE 插帧→ 多路 VHS 合并(Wanimate 前缀,h264-mp4 crf19)

另有 KJNodes 的 Enable 开关组:Enable参考视频遮罩获取 / Enable宽高帧数 / Enable参考图 / Enable骨骼脸部动态获取 / Enable多视频组合 / EnableModels选择 / Enable采样模块 / Enable只需要动作迁移就…——只需要动作迁移时可禁用遮罩相关两组。

节点结构

节点结构截图待补充

运行环境与硬件要求

主模型wan2.2_animate 14B bf16—— 未量化的 bf16,显存需求高于 fp8 版 (单文件约 27GB 级,估算),依赖 offload
辅助模型SAM2 + DW pose + YOLOx ,都是轻量模型
特点逐帧跑姿态 / 分割预处理, CPU/GPU 混合,预处理耗时占比较大
最低显存24 GB
显存不够?查看 GPU 云主机 →

需要下载的模型

文件类型大小放置目录下载
wan2.2_animate_14B_bf16.safetensors主模型(Animate)models/diffusion_models
Wan21_I2V_14B_lightx2v_cfg…加速 LoRA (强度 1.00)models/loras
Wan21_PusaV1_LoRA_14…风格 LoRA (强度 1.00)models/loras
WanAnimate_relight_lora_f…重打光 LoRA (强度 1.00 ,角色融入背景用)models/loras
umt5_xxl_fp8_e4m3fn_scaled.s…CLIP 文本编码器models/text_encoders
wan_2.1_vae.safetensorsVAEmodels/vae
clip_vision_h.safetensorsCLIP 视觉编码器models/clip_vision
sam2_hiera_base_plus.safetensorsSAM2 分割模型(segment-anything-2 节点包可自动下载)
yolox_l.torchscript.pt人物 BBox 检测
dw-ll_ucoco_384_bs5.torchscript.ptDW 姿态模型(comfyui_controlnet_aux 可自动下载)
rife47.pthRIFE 插帧

需要安装的自定义节点

节点包用途安装方式
ComfyUI-VideoHelperSuite加载视频、合并为视频、图像合并 (多个)ComfyUI-Manager 搜索安装
ComfyUI-KJNodes点编辑器、扩展遮罩、分块遮罩、图像缩放 V2 、从姿态关键点生成脸部遮罩、按遮罩裁剪并缩放、整数常量、 Get/SetComfyUI-Manager 搜索安装
ComfyUI-segment-anything-2(kijai)下载并加载 SAM2 模型、 SAM2 分割ComfyUI-Manager 搜索安装
comfyui_controlnet_auxDW 姿态预处理器ComfyUI-Manager 搜索安装
ComfyUI-Frame-InterpolationRIFE 智能动画师ComfyUI-Manager 搜索安装
WanVideoWrapper(kijai)工作流 #120 处相关辅助节点ComfyUI-Manager 搜索安装
ComfyUI 内置Wan 动画转视频、 LoRA 加载器、 CLIP 视觉加载器等ComfyUI 内置,无需安装

使用步骤

  1. 角色替换用法

    上传角色参考图 + 动作参考视频,SAM2 点编辑器里点选视频里要替换的人物 → 全链路跑完,角色按参考视频的节奏动起来。

  2. 纯动作迁移用法

    按工作流注释,禁用"参考视频遮罩获取"与相关两组(Enable 开关切 no),只保留姿态/面部动态驱动。

  3. 确认视频规格

    16fps / 832×480 / 97 帧上限(约 6 秒)。

  4. 提示词写画面内容

  5. 输出多路视频

    姿态预览、遮罩预览、成品(Wanimate 前缀)。

关键参数说明

参数所在节点设置说明
强制帧率16加载视频
帧数读取上限97单次生成上限
分辨率832 × 480整数常量区
CFG1.0
采样器 / 调度器euler / simple
移位8.00
SAM2 分割器video 模式, cuda , fp16
扩展遮罩扩展 10 / 倒角 true边缘羽化
分块遮罩块大小 32
LoRA 强度三路全部 1.00
RIFErife47 ,快速模式 true倍数见工作流
crf19

常见问题与报错

抠像边缘破

SAM2 正/负坐标点没点准——正点点人物、负点点背景;扩展遮罩 10 不够就加大。

脸部不随参考视频

确认「从姿态关键点生成脸部遮罩」→「面部视频」这条线接通。

换装/融合怪

relight LoRA(重打光)负责角色融进新背景,强度 1.0 是默认;角色和参考视频光线差异极大时优先调它。

姿态预处理器报错

DW 模型文件没下载全(bs5 版本),首次运行让 controlnet_aux 自动下载或手动放。

显存不足

主模型是 bf16,必要时换 fp8 量化版(模型名对应的 Repackaged 版本)。

更新记录

  • Animate v1角色替换 + 动作迁移一体版
推荐工具↑ ↓ 选择 Enter 打开