在Stable Diffusion上如何安装及使用hypernetwork?

hypernetwork模型是一种用于修改风格的小型神经网络。

在这篇文章中,你将学到关于hypernetwork的所有知识,以及如何使用它们来达到你想要的效果。我将从hypernetwork模型的基础知识讲起,到如何结合AUTOMATIC1111 Stable Diffusion GUI使用它们。

什么是Stable Diffusion中的hypernetwork?

hypernetwork是由Novel AI开发的一种微调技术,它是Stable Diffusion的早期采用者。它是一个附加到Stable Diffusion模型上的小型神经网络,用于修改其风格。

小型hypernetwork插入在哪里?它当然是Stable Diffusion模型中最关键的部分:噪声预测器UNet的交叉注意力模块。LoRA模型以不同的方式修改了Stable Diffusion模型的这一部分。

hypernetwork通常是一个非常简单的神经网络:一个带有dropout和激活函数的全连接线性网络。就像你在神经网络入门课程中学到的那样。它们通过插入两个网络来转换键和查询向量,劫持了交叉注意力模块。比较下面的原始模型和被劫持的模型架构。

stable_diffusion_advanced_What_is_a_hypernetwork_1

stable_diffusion_advanced_What_is_a_hypernetwork_2

原始Stable Diffusion模型的交叉注意力模块。

hypernetwork通过添加额外的神经网络来转换键和值。 在训练期间,Stable Diffusion模型被锁定,但允许修改附加的hypernetwork。由于hypernetwork很小,训练速度快且资源需求有限。训练可以在普通电脑上完成。

快速训练和小文件大小是hypernetwork的主要吸引力。

与其他模型类型的区别

hypernetwork与其他模型类型之间的区别:检查点模型、LoRA和嵌入。

检查点模型

检查点模型包含生成图像所需的所有信息。你可以通过它们的大文件大小识别它们。它们的范围从2到7GB。hypernetwork通常低于200MB。

hypernetwork不能单独功能。它需要与一个检查点模型一起工作来生成图像。

检查点模型比hypernetwork更强大。它可以比hypernetwork更好地存储风格。训练检查点模型时,整个模型都会被微调。训练hypernetwork时,只有hypernetwork被微调。

LoRA模型

LoRA模型与hypernetwork最为相似。它们都很小,只修改交叉注意力模块。它们的区别在于修改方式。LoRA模型通过改变其权重来修改交叉注意力。hypernetwork通过插入额外的网络来做到这一点。

用户通常发现LoRA模型产生更好的结果。它们的文件大小相似,通常低于200MB,远小于检查点模型。

LoRA是一种数据存储方法。它不定义训练过程,训练过程可以是dreambooth或额外训练。hypernetwork定义了训练。

嵌入

嵌入是一种称为文本反演的微调方法的结果。像hypernetwork一样,文本反演不改变模型。它只是定义新的关键词来达到某些风格。

文本反演和hypernetwork作用于Stable Diffusion模型的不同部分。文本反演在文本编码器中创建新的嵌入。hypernetwork在噪声预测器的交叉注意力模块中插入一个小网络。

在哪里找到hypernetwork 最好的地方是civitai.com。用Hypernetwork过滤模型类型。

stable_diffusion_advanced_What_is_a_hypernetwork_3

如何使用hypernetwork

我将向你展示如何在AUTOMATIC1111 Stable Diffusion GUI中使用hypernetwork。你可以在Windows、Mac或Google Colab上使用这个GUI。

第1步:安装hypernetwork模型

要在AUTOMATIC1111 webui中安装hypernetwork模型,请将模型文件放在以下文件夹中。

stable-diffusion-webui/models/hypernetworks

第2步:使用hypernetwork模型

要使用hypernetwork,请在提示中放入以下短语。

hypernet:filename:multiplier

filename是hypernetwork的文件名,不包括扩展名(.pt, .bin等)。

multiplier是应用于hypernetwork模型的权重。默认值是1。将其设置为0会禁用模型。

如何确保文件名是正确的?你不应该写这个短语,而应该使用GUI插入它。点击hypernetwork标签。你应该看到安装的hypernetwork列表。点击你想使用的那个。

hypernetwork短语将被插入到提示中。

stable_diffusion_advanced_What_is_a_hypernetwork_4

请注意,hypernetwork短语不被视为提示的一部分。它仅指示使用哪些hypernetwork。应用hypernetwork后,它将被移除。所以你不能使用任何提示语法,比如[keyword1:keyword2:0.5]与它们一起使用。

第3步:测试和使用模型创造艺术

为了最大限度地解锁预期的风格,首先使用它被训练的模型。但不要停在那里。一些hypernetwork需要特定的提示或只适用于特定主题,所以查看模型页面上的提示示例,看看哪些效果最好。

这里有一个专业提示:如果你注意到你的图像看起来太饱和了,这可能是一个信号,表明你需要调整乘数。这是一个简单的修复。Stable Diffusion有时会将颜色饱和度解读为达到标记的完美方式,但减少乘数可以帮助将事物恢复平衡。

一旦你确认你的hypernetwork正在施展魔法,为什么不试着在其他模型上使用它呢?你永远不知道会出现什么有趣和意想不到的效果,而且让我们实话实说,尝试玩弄它们就是纯粹的乐趣。所以,继续吧,让你的创造力奔放。

一些hypernetwork

水元素

水元素是一种独特的hypernetwork,可以将任何东西变成水!使用短语“水元素”在主题之前。确保描述背景。你可以将这个hypernetwork与Stable Diffusion v1.5一起使用。更改hypernetwork权重以调整水效果。

水元素hypernetwork模型页面

提示:

water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>

stable_diffusion_advanced_What_is_a_hypernetwork_5

提示:

water elemental a boy running on water <hypernet:waterElemental_10:1>

stable_diffusion_advanced_What_is_a_hypernetwork_6

哥特式RPG艺术风格

哥特式RPG艺术风格产生时尚的单色插图风格。与Protogen模型一起使用。

提示:

drawing male leather jacket cyberpunk 2077 on a city street by WoD1 <hypernet:gothicRPGArtstyle_v1:1>

stable_diffusion_advanced_What_is_a_hypernetwork_7

AI工具教程
免费领取AI学习资料 进AI副业交流群
礼物
AI工具教程
免费领取AI学习资料 进AI副业交流群