LoRA模型下载及安装使用教程

LoRA模型是一种用于微调Stable Diffusion模型的训练技术。与其他训练技术如Dreambooth和文本反演相比,LoRA模型在文件大小和训练能力之间提供了一个良好的平衡点。

这使得LoRA模型对于那些拥有大量模型集合的人来说非常有吸引力,因为它们通常比标准检查点模型小10到100倍。

LoRA模型的工作原理

LoRA (Low-Rank Adaptation)技术通过对Stable Diffusion模型的关键部分——交叉注意力层进行微小的调整,从而修改样式。交叉注意力层是下面稳定扩散模型架构中的黄色部分。

ai_tutorial_stable_diffusion_basic_LoRA_model_installation_1

这部分是图像和提示相遇的地方。通过对这一层进行微调,研究人员发现可以达到良好的训练效果。

LoRA通过将一个大矩阵分解成两个较小的低秩矩阵来实现文件尺寸的减小,这种方法大大减少了需要存储的数字数量,从而实现了模型文件大小的显著减少。

假设该模型有一个包含 1,000 行和 2,000 列的矩阵。模型文件中需要存储 2,000,000 个数字 (1,000 x 2,000)。LoRA 将矩阵分解为 1,000×2 矩阵和 2×2,000 矩阵。这只有 6,000 个数字 (1,000 x 2 + 2 x 2,000),少了 333 倍。这就是 LoRA 文件小得多的原因。

ai_tutorial_stable_diffusion_basic_LoRA_model_installation_2

下载LoRA 模型

寻找 Lora 的首选地点是Civitai。该网站拥有大量 LoRA 模型。应用 LORA 过滤器仅查看 LoRA 模型。你可能会发现它们都趋于相似:女性肖像、动漫、写实插画风格等。

Hugging Face 是 LoRA 库的另一个很好的来源。您会发现更多种类的 LoRA 模型。但那里的 LoRA 模型并不多。他们的收藏要小得多。

安装LoRA模型到本地

要在AUTOMATIC1111 GUI中使用LoRA模型,用户首先需要将LoRA模型文件放置在stable-diffusion-webui/models/Lora文件夹中(AUTOMATIC1111 本身支持 LoRA。您不需要安装任何扩展)。

ai_tutorial_stable_diffusion_basic_LoRA_model_installation_3

在使用时,可以通过在提示或负面提示中使用<lora: name: weight>的语法来添加LoRA模型,其中name是LoRA模型的名称,weight是应用于LoRA模型的强调程度,默认值为1。AUTOMATIC1111支持原生LoRA模型,不需要安装任何扩展。

您如何确定名称正确?不要输入此短语,而是单击LoRA选项卡。

ai_tutorial_stable_diffusion_basic_LoRA_model_installation_4

此外,LoRA模型的使用也允许用户调整效果的强度,通过设置乘数来增强或减弱效果。

值得注意的是,一些LoRA模型是与Dreambooth一起训练的,因此在使用这些模型时可能需要包含一个触发关键词。

LoRA使用注意事项

用户还可以同时使用多个LoRA模型以及与嵌入向量一起使用它们。

在查找LoRA模型时,Civitai和Hugging Face是两个主要的资源。Civitai提供了大量的LoRA模型,而Hugging Face则提供了更多种类的LoRA模型,尽管其收集的数量可能较小。

通过使用LoRA模型,用户可以在不占用大量本地存储空间的情况下,自定义AI艺术模型。

这对于希望尝试不同模型的Stable Diffusion用户来说是一个极好的解决方案。

获取提示词

Stable Diffusion最难的部分莫过于编写提示词。今天为大家分享一本关于AI 绘画提示词的电子书,这本电子书写的非常不错,我愿称之为AI 绘画提示词圣经

stable_diffusion_bible

扫描下方二维码,关注公众号,回复关键字:提示词领取 AI 绘画提示词圣经 pdf 文档

ai_painting

LoRA models示例

Detail Tweaker

ai_tutorial_stable_diffusion_basic_LoRA_model_installation_5

Shukezouma

Shukezouma LoRA模型带出时尚的中国水墨主题。舒克走玛是指画作中的留白空间(中国画中常见)足够大,足以让马穿过它。

提示词:

    
(shukezouma:0.5) ,<lora:Moxin_Shukezouma:1> , chinese painting, half body, female, perfect symmetric face, detailed chinese dress, mountains, flowers, 1girl, tiger

反向提示词:

    
disfigured, ugly, bad, immature

ai_tutorial_stable_diffusion_basic_LoRA_model_installation_6

阅读全文
AI工具教程
免费领取AI学习资料 进AI副业交流群
礼物
AI工具教程
免费领取AI学习资料 进AI副业交流群