ComfyUI如何使用ControlNet从图像到控制向量的转换?

在此进阶教程中,我们将深入探索 ControlNet 工具的高级应用,帮助您充分利用现有的图像资源,并将其转化为 ControlNet 可以使用的图像格式,如 Pose 图和 Depth 图。接下来,我们将详细介绍各种插件的安装与应用流程,使您能够从基础到高级,全面掌握 ControlNet 的使用技巧。

工具与模型的准备

在开始之前,请确保已下载并安装以下模型:

  • Dreamshaper:用于梦境塑形的模型,安装在 ComfyUI 的 models/checkpoints 目录。
  • ControlNet Scribble:用于绘制粗略草图的 ControlNet 模型,放在 models/controlnet 目录。
  • ControlNet Openpose:用于生成姿势控制图的模型,同样放在 models/controlnet
  • ControlNet Canny:用于生成 Canny 边缘控制图的模型,存放在 models/controlnet

生成 Canny 图的工作流

使用 Canny 方法可以从已有图片生成边缘图,这比生成手绘风格的 Scribble 图更为精确。

ai_tutorial_comfy_ui_expert_ControlNet_advance_1

1. 插件下载与安装

首先,需要安装一个名为 ComfyUI's ControlNet Auxiliary Preprocessors 的插件,可通过 ComfyUI-Manager 进行安装。这里我已经帮大家下好了,关注下方公众号回复 ComfyUI 获取ControlNet Auxiliary网盘链接。

ai_painting

2. 插入 Canny 节点

创建或加载一个包含 Canny 节点的 workflow。操作步骤如下:

  • 在 ComfyUI 中打开或新建一个 workflow。
  • 双击空白处,在搜索框中输入“Canny”。
  • 添加 Canny 节点并连接至 Load Image 节点和 Apple ControlNet 节点。
  • 如需查看 Canny 图,可在 Canny 节点的输出端添加 Preview Image 节点。

最终的 workflow 应如下图所示:

ai_tutorial_comfy_ui_expert_ControlNet_advance_2

生成 Pose 图的工作流

1. 插入 DWPose Estimation 节点

如果你需要从图像中生成控制姿势的向量,可以使用 DWPose Estimation 节点。操作步骤如下:

  • 双击空白处,在搜索框中输入“DWPose Estimation”并添加此节点。
  • 连接 Load Image 节点至 DWPose Estimation 节点。
  • 配置参数如下:
    • detect_hand: disable
    • detect_body: enable
    • detect_face: disable
    • resolution: 512
    • bbox_detector: yolox_l.onnx
    • pose_estimator: dw-ll_ucoco_384.onnx

2. 增加 Upscale Image 节点(可选)

为确保图像分辨率与 ControlNet 输出一致,可添加 Upscale Image 节点:

  • 将 DWPose Estimation 节点的输出连接至 Upscale Image 节点。
  • 配置 Upscale Image 节点的参数,确保图像大小与输出匹配。

最终的 workflow 如下图所示,其中包括可选的 Preview Image 节点,用于预览生成的 pose 图。

ai_tutorial_comfy_ui_expert_ControlNet_advance_3

深度图与参考图的应用

  • Image depth workflow:目前正在修订中,将在后续版本详细介绍。

  • Reference-only workflow

    ai_tutorial_comfy_ui_expert_ControlNet_advance_4

    • 使用 ComfyUI 的实验性节点,如 ReferenceOnlySimple,以参考图为基础生成设计元素,例如 logo。
阅读全文
AI工具教程
免费领取AI学习资料 进AI副业交流群
礼物
AI工具教程
免费领取AI学习资料 进AI副业交流群