如何在Stable Diffusion上使用放大器?

AI图像增强器,如ESRGAN,是提升Stable Diffusion生成AI图像质量的不可或缺工具。它的使用非常普遍,以至于许多Stable Diffusion图形用户界面(GUI)内置了支持。

在这里,我们将了解图像增强器是什么,它们如何工作,以及如何使用它们。

为什么我们需要图像增强器?

Stable Diffusion v1的默认图像大小为512×512像素。

按照今天的标准,这是相当低的。以iPhone 12为例,其相机产生的是12MP图像——即4,032 × 3,024像素。其屏幕显示2,532 x 1,170像素,因此未缩放的Stable Diffusion图像需要放大,看起来质量低下。

更复杂的是,Stable Diffusion生成的复杂场景通常不如应有的清晰。它在处理细节上有所挣扎。

为什么不能使用传统的图像增强器?

你可以使用,但结果不会那么好。

传统的图像调整大小算法,如最近邻插值和Lanczos插值,因只使用图像的像素值而受到批评。它们通过使用图像的像素值进行数学运算来放大画布并填充新像素。然而,如果图像本身已损坏或扭曲,这些算法无法准确填补缺失的信息。

AI增强器是如何工作的?

AI增强器是用大量数据训练的神经网络模型。它们在放大图像的同时能填补细节。

在训练中,图像被人为损坏,以模拟现实世界的退化。然后训练AI增强器模型恢复原始图像。

模型中嵌入了大量的先验知识。它能填补缺失的信息。就像人类不需要详细研究一个人的脸就能记住它。我们主要关注一些关键特征。

以下是比较传统(Lanczos)和AI(R-ESRGAN)增强器的一个例子。由于AI增强器中嵌入的知识,它能同时放大图像并恢复细节。

stable_diffusion_case_Improve_details_with_AI_image_magnifier_1

如何使用AI增强器?

让我们通过如何在AUTOMATIC1111 WebUI为Stable Diffusion使用AI增强器来了解。

  • 查看AUTOMATIC1111 GUI的快速启动指南。
  • 转到“Extras”页面(我知道这个名字有点让人困惑),并选择“Single Image”。
  • 上传你想要增强的图像到源画布上。
  • 设置“Resize factor”。许多AI增强器本地默认将图像放大4倍。因此,4是一个不错的选择。如果你不希望图像那么大,可以设置一个较低的值,如2。
  • 选择R-ESRGAN 4x+,一个适用于大多数图像的AI增强器。
  • 按“Generate”开始增强。

stable_diffusion_case_Improve_details_with_AI_image_magnifier_2

完成后,增强后的图像将出现在右侧的输出窗口中。右键点击图像进行保存。

AI增强器选项

让我们通过一些值得注意的AI增强器选项。

  • LDSR:Latent Diffusion Super Resolution(LDSR)增强器最初与Stable Diffusion
    1.4一同发布。它是一个被训练用于执行放大任务的潜在扩散模型。尽管它提供了更优质的质量,但它极其缓慢。我不推荐使用它。
  • ESRGAN 4x:Enhanced Super-Resolution Generative Adversarial
    Networks(ESRGAN)是一个获得2018年感知图像恢复与操纵挑战赛冠军的放大网络。它是对之前的SRGAN模型的增强。
  • R-ESRGAN 4x:Real-ESRGAN(R-ESRGAN)是对ESRGAN的增强,可以恢复各种真实世界的图像。它模拟了来自相机镜头和数字压缩的各种程度的失真。

安装新的增强器

要在AUTOMATIC1111 GUI中安装新的增强器,请从Open model database下载模型并放入文件夹。

stable-diffusion-webui/models/ESRGAN

重启GUI。你的增强器现在应该可以在增强器下拉菜单中选择了。以下是安装Universal Upscaler V2后你应该到的。

stable_diffusion_case_Improve_details_with_AI_image_magnifier_3

增强细节与SD放大

仅使用增强器并不理想。如果你手头有stable diffusion,为什么不将它添加到你的增强器工作流中呢?

SD Upscale是一个随AUTOMATIC1111附带的脚本,它执行增强与图像到图像增强细节的操作。

  • 第1步:导航至Img2img页面。
  • 第2步:上传一个图像到img2img画布。
  • 第3步:在底部的脚本下拉菜单中,选择SD Upscale。
  • 第4步:设置Scale factor为4,将原始大小放大4倍。
  • 第5步:设置去噪强度在0.1到0.3之间。它越高,图像变化越大。(你应该尝试这个)
  • 第6步:设置采样步骤数为100。更高的步骤改善细节。(你应该尝试这个)
  • 第7步:你可以使用原始提示和负面提示。如果你没有,使用“高度详细”作为提示。
  • 第8步:按“Generate”。

以下是添加额外的图像到图像与SD Upscale脚本的比较。

左边:Universal Upscaler v2放大4倍。 右边:SD Upscale与Universal Upscaler v2放大4倍,提示“高度详细”,去噪强度0.3和100采样步骤。

stable_diffusion_case_Improve_details_with_AI_image_magnifier_4

SD Upscale脚本有助于改善细节和减少放大伪影。

txt2img页面中的Hires Fix

你可以选择性地放大在txt2img页面生成的每张图像。为此,你只需要勾选Hires. fix即可。

勾选后,将出现附加选项。这些选项类似于使用SD Upscale脚本的那些。

stable_diffusion_case_Improve_details_with_AI_image_magnifier_5

AI工具教程
免费领取AI学习资料 进AI副业交流群
礼物
AI工具教程
免费领取AI学习资料 进AI副业交流群