使用 ControlNet 創造讓人驚艷的圖像
目录
- 简介 (H2)
- 如何安装 ControlNet (H2)
- 使用 Canny 模型 (H3)
- 使用 OpenPose 模型 (H3)
- 使用 Depth 模型 (H3)
- 使用 Line Art 模型 (H3)
- 使用 Soft Edge 模型 (H3)
- 使用 Scribble 模型 (H3)
- 使用 Segmentation 模型 (H3)
- 使用 Shuffle 模型 (H3)
- 使用 Pix2Pix 模型 (H3)
- 使用 Reference 模型 (H3)
- 使用 Multi-ControlNet (H3)
- 结论 (H2)
- 常见问题解答 (H2)
简介
ControlNet 是一种稳定扩散技术，可用于创建令人惊叹的图像。在本文中，我们将介绍如何使用 ControlNet，并深入了解各种模型和预处理器的用途和功能。无论您是想要将图像转换为真实主义，还是通过引导生成图像，ControlNet 都是一个强大的工具。
如何安装 ControlNet
安装 ControlNet 非常简单。您只需前往扩展选项卡，点击“加载”，搜索 ControlNet 并安装它即可。接下来，您需要在 Huggingface 的链接中下载所需的模型，并将其移动到 ControlNet 文件夹中的 models 文件夹内。完成后，请重新启动您的用户界面，并在 web UI 中找到 ControlNet。
使用 Canny 模型
Canny 模型用于检测图像中物体的边缘。您可以通过点击预览图标来查看 Canny 预处理器的效果。同时，启用“Pixel Perfect”选项可以自动调整 ControlNet 的分辨率。Canny 模型适用于将游戏角色转换为真实人物的应用场景。
使用 OpenPose 模型
OpenPose 模型用于检测人体的关键点，可以帮助您在图像中重新创建人体姿势。在预处理器中，您有五个不同的选项可以选择。开始使用 OpenPose 模型时，它会尝试检测输入图像中的所有关键点。如果您想要从参考图像中重现手部位置，可以使用 OpenPose Hands 模型。
使用 Depth 模型
Depth 模型适用于定位物体，但会失去更精细的细节。目前，Depth 模型有四个不同的预处理器，略有差异。较浅的颜色代表近距离的物体，而较深的颜色代表远处的物体。Normal 预处理器可以根据输入图像生成法线图，用于使平面表面看起来有纹理。Overall，Normal_Bae 更适合前景和背景。
使用 Line Art 模型
Line Art 模型非常适合给数字或手绘图像上色。您可以选择多个具有微小差异的预处理器。本次生成中，我使用的是 Lineart Realistic 预处理器。这是生成的图像，还有两个与之相关的图像。
使用 Soft Edge 模型
Soft Edge 模型是一个已知的边缘检测算法，边缘较为柔和。这可以帮助您保留更多细节，并且生成的图像接近参考图像。当您不希望轮廓线条太严格时，Soft Edge 是一个很好的选择。Scribble 预处理器将图像转换成粗糙的涂鸦。Hed 和 Pidinet 预处理器提供粗糙的轮廓线条，而 XDoG 预处理器提供精细的轮廓线条。Segmentation 预处理器会为图像中的每个识别到的对象分配一种独特的颜色。
使用 Shuffle 模型
Shuffle 模型可以扭曲和混合输入图像的颜色。通过混合图像，可以获得生成图像的起点，并复制其色彩方案和主题。下面是使用不同主题的更多图像。
使用 Pix2Pix 模型
Pix2Pix 模型基于您的指令改变图像。它不需要预处理器，只需要下载模型即可。然而，由于生成图像的质量不够好，所以我个人并不认为它特别有用。
使用 Reference 模型
Reference 模型不需要模型，只需要预处理器。Style Fidelity 滑块没有太大作用，我建议将其保留为默认值。Reference Only 模型适用于在参考图像的基础上创建微小变化。Adain+attn 模型的结果与 Reference Only 模型非常相似，您可以尝试两者以确定哪个更适合您的图像。Reference Aidan 模型在保持整体构图的同时忽略了颜色和细节，它受到提示的影响较大。
使用 Multi-ControlNet
Multi-ControlNet 允许您同时使用多个 ControlNet。要启用此功能，请前往设置 > ControlNet > Multi-ControlNet。我将选择 2 个 ControlNet，并重新启动我的用户界面。现在，您可以访问多个 ControlNet 选项卡。对于我的第一个 ControlNet，我将使用 OpenPose 模型。如果您已经有一个预处理的图像，就像我在这里的一样，您需要将预处理器设置为“none”。对于我的第二个 ControlNet，我将使用 MLSD 模型，同样，我也有一个预处理的图像。我们还需要更改一个选项，即 Control Weight。它决定了 ControlNet 对生成图像的影响程度。我将将其设置为 0.5，以便它不会对我的主体产生太大影响。正如您所见，生成的图像是两种 ControlNet 的混合。
结论
ControlNet 是一个功能强大的工具，可用于创建令人惊叹的图像。无论您是想要将图像转换为真实主义，还是通过引导生成图像，ControlNet 都能满足您的需求。通过使用不同的模型和预处理器，您可以实现对图像的精细控制，创造出独特而令人印象深刻的作品。
常见问题解答
Q: ControlNet 是否免费？
A: 是的，ControlNet 是免费提供的。
Q: 是否有其他模型可供选择？
A: 是的，还有其他模型可供选择，您可以在 ControlNet 文件夹中查找并安装它们。
Q: ControlNet 是否适用于所有类型的图像？
A: 是的，ControlNet 适用于各种类型的图像，可以根据您的需求进行调整和优化。
Q: 是否可以同时使用多个 ControlNet？
A: 是的，通过使用 Multi-ControlNet 功能，您可以同时使用多个 ControlNet。
Q: 是否可以自定义 ControlNet 的设置？
A: 是的，您可以在设置中自定义 ControlNet 的各种选项，以满足您的需求。
资源
📷 使用 ControlNet 创造令人惊叹的图像
今天，我将向您展示如何使用 ControlNet 进行稳定扩散，以创造出令人惊叹的图像。让我们开始吧！
如何安装 ControlNet
首先，打开您的浏览器，并转到扩展选项卡。在那里，点击“加载”按钮，然后搜索 ControlNet 并安装它。接下来，您需要下载所需的模型。我建议您前往 这个 Huggingface 链接，并下载您所需的模型。一旦您完成了下载，将这些模型移动到名为 "models" 的文件夹内的 ControlNet 文件夹中。完成后，请重新启动您的用户界面，并在 web UI 中找到 ControlNet。
使用 Canny 模型
Canny 模型用于检测图像中物体的边缘。首先，点击 ControlNet 页面上的"Enable"和"Allow Preview"按钮，以启用预览功能并使 Canny 模型生效。Canny 模型可以通过预览图标来预览其处理效果。对于更好的控制和更好的视觉效果，我建议您启用“Pixel Perfect”选项，该选项会自动调整 ControlNet 的分辨率。
使用 OpenPose 模型
现在，让我们尝试使用 OpenPose 模型。OpenPose 模型可以检测人体的关键点，并帮助您在图像中重新创建人体姿势。在 ControlNet 页面中，您会看到各种预处理器选项。让我们从 OpenPose 开始。OpenPose 尝试在输入图像中检测所有主要点。如果您想根据参考图像来生成图像，可以将您的提示粘贴到 ControlNet 页面，并点击生成按钮。如果您还想重新创建参考图像中的手的位置，可以尝试使用 OpenPose Hands。它结合了手部检测和 OpenPose 功能，可以轻松复制参考图像中手部和手指的位置。
使用 Depth 模型
接下来，我们来尝试使用 Depth 模型。Depth 模型适用于定位物体，但会在过程中丢失更细节的信息。目前，Depth 模型有四个不同的预处理器选项，它们之间存在一些细微的差别。较浅的颜色代表近距离的物体，而较深的颜色代表远处的物体。与此同时，Normal 预处理器可以根据输入图像生成法线图。法线图是一种用于使平面表面看起来有纹理的图像。在大多数情况下，Normal_Bae 提供了更好的结果，无论是对于前景还是背景。
使用 Line Art 模型
如果您想要给数字或手绘图像上色，Line Art 模型是一个非常有用的工具。ControlNet 提供了多种 Line Art 预处理器选项，您可以根据自己的需求进行选择。对于本次生成，我使用的是 Lineart Realistic 预处理器。下面是生成的图像，同时还有两个与之相关的图像。
使用 Soft Edge 模型
接下来，让我们谈谈 Soft Edge 模型。它是一个已知的边缘检测算法，与 Canny 类似，但边缘更加柔和。然而，它仍然可以帮助您保留更多的细节，并获得与参考图像接近的生成图像。当您不希望轮廓线条太严格时，Soft Edge 是一个很好的选择。Scribble 预处理器将图像转换为粗糙的涂鸦，而 Hed 和 Pidinet 预处理器可以提供粗糙的轮廓线条。如果您想要更精细的轮廓线条，可以尝试使用 XDoG 预处理器。Segmentation 预处理器会为图像中的每个被识别的对象分配一个独特的颜色。您可以在电子表格上查找颜色代码。通过在编辑应用程序中更改或添加颜色，您可以向图像中引入新的对象。
使用 Shuffle 模型
Shuffle 模型可用于扭曲和混合输入图像的颜色。通过混合图像，您可以获得生成图像的一个起点，并复制其色彩方案和主题。下面是一些使用不同主题的更多图像。
使用 Pix2Pix 模型
Pix2Pix 模型可以根据您的指令改变图像。对于 Pix2Pix 模型，您不需要额外的预处理器，只需要下载模型即可。然而，由于生成图像的质量不够好，所以我个人并不认为它特别有用。
使用 Reference 模型
Reference 模型不需要额外的模型，只需要预处理器。对于 Reference 模型，Style Fidelity 滑块没有太大作用，我建议您将其保留为默认值。Reference Only 模型适用于在参考图像的基础上创建微小变化。Adain+attn 模型的结果与 Reference Only 模型非常相似，您可以尝试两者以确定哪个更适合您的图像。Reference Aidan 模型在保持整体构图的同时，忽略了颜色和细节，它受到提示的影响较大。
使用 Multi-ControlNet
如果您想要同时使用多个 ControlNet，您可以使用 Multi-ControlNet 功能。要启用此功能，请前往设置 > ControlNet > Multi-ControlNet。在那里，您可以选择要使用的 ControlNet 的数量。例如，如果您选择 2 个 ControlNet，您将会在 ControlNet 页面上看到两个选项卡，分别对应每个 ControlNet。对于每个 ControlNet，您可以选择不同的模型和预处理器。通过调整 Control Weight 选项，您可以控制 ControlNet 对生成图像的影响程度。
结论
ControlNet 是一个功能强大的工具，可用于创建令人惊叹的图像。无论您是想要将图像转换为真实主义，还是通过引导生成图像，ControlNet 都能满足您的需求。通过使用不同的模型和预处理器，您可以实现对图像的精细控制，创造出独特而令人印象深刻的作品。
常见问题解答
Q: ControlNet 是否免费？
A: 是的，ControlNet 是免费提供的。
Q: 是否有其他模型可供选择？
A: 是的，还有其他模型可供选择，您可以在 ControlNet 文件夹中查找并安装它们。
Q: ControlNet 是否适用于所有类型的图像？
A: 是的，ControlNet 适用于各种类型的图像，可以根据您的需求进行调整和优化。
Q: 是否可以同时使用多个 ControlNet？
A: 是的，通过使用 Multi-ControlNet 功能，您可以同时使用多个 ControlNet。
Q: 是否可以自定义 ControlNet 的设置？
A: 是的，您可以在设置中自定义 ControlNet 的各种选项，以满足您的需求。
资源
WHY YOU SHOULD CHOOSE TOOLIFY
