现代技术领域无疑已经开始以全新的方式拥抱人工智能。
此外,现代内容创作者肯定已经开始接受其在图像生成领域的能力。
话虽如此,本指南将探讨如何使用 LoRA 进行稳定扩散。
OpenAI 的 ChatGPT 的日益突出无疑为行业的整体进步创造了奇迹。
事实上,它的迅速崛起为其进入主流铺平了道路,而且市场上各种基于人工智能的工具也呈指数级增长。
也就是说,很少有像稳定扩散那样强大或准确的。
图像生成技术是一种算法,可以缓慢减少图像中的噪声,通过称为扩散的过程生成新的东西。
随后,由于其惊人的效果以及在较短的学习曲线后使用起来非常简单,它的流行度不断提高。
现在,让我们看看可以提高程序整体性能的多种方法之一。
具体来说,通过安装和使用LoRA内的稳定扩散算法。
什么是LoRA?
来源:创建数字音乐 另请阅读:如何训练稳定的扩散模型?
我们已经探索了一些关于稳定扩散作为一种技术的内容,特别是它作为图像生成软件的用途,可以训练该软件向用户呈现非凡的图像。
基于文本的程序依赖于提示命令,这些命令将利用其机器学习 (ML) 基础来生成内容。
不过,现在让我们解释一下 LoRA 是什么。
对于那些很少接触人工智能世界的人来说,LoRA 是一种训练技术。
此外,它是一种用于稳定扩散算法微调的方法。
事实上,它在存储等领域特别有价值。
具体来说,它们充当放大模型文件和文本反演之间的桥梁。
因此,LoRA 提供了非指数级大的文件大小和令人印象深刻的训练能力的混合。
因此,这种混合对于那些由于模型丰富而本地存储短缺的人来说是完美的。
LoRA 明显小于其他检查点模型。
当 LoRA 与稳定扩散相结合时,它成为针对特定因素训练模型的关键工具。
事实上,它可以训练您希望模型精通的各种概念(例如字符或指定风格)。随后,训练有素的模型成为生产或生成适合特定风格结构的图像的关键,即具体到培训。
它如何与 Stable Diffusion 一起工作 来源:Apple 机器学习研究 另请阅读:如何在 Stable Diffusion 上安装 Dreambooth?
现在我们对两者都有了一些了解,接下来我们来谈谈 LoRA 和稳定扩散如何协同工作。
具体来说,LoRA 对稳定扩散模型的交叉注意力层应用了微小的变化。
具体来说,这是图像和给定提示相交的地方。
随后,人工智能研究人员发现,该领域的大量训练对于建立模型本身的整体有效性非常有帮助。
交叉注意力层的权重排列在所谓的矩阵中。
随后,LoRA 通过减小这些特定矩阵的大小来工作。
具体来说,这是通过将其分解为两个较小的矩阵来完成的。
因此,模型文件必须存储的数字数量大大减少,LoRA 的整体模型大小也大大减少。
哪里可以找到 LoRA 模型 来源:Simon Willison 还阅读:如何在稳定扩散上安装 Python-SocketIO?
现在我们已经分别介绍了 LoRA 和稳定扩散,让我们开始解释如何一起使用它们。
我们首先讨论从哪里获取 LoRA,因为这是该过程的重要组成部分。
在采购 LoRA 时,有两种流行的选择:HuggingFace 和 Civitai。
在尝试获取程序源时,这些往往是最推荐的。
Civitai 拥有大量 LoRA 模型可供使用。
Shbseuqlety 是许多用户的首选目的地。
此外,它还有一个非常人性化的界面。
因此,它增强了那些寻找 LoRA 模型的人的整体体验。
另外,HuggingFace 提供较小的 LoRA 模型集合。
然而,它的略微优势在于它可以向潜在用户展示的不同种类的模型。
然而,它们可能有点难以找到,因为它们位于检查点模型旁边。
尽管如此,考虑到您正在寻找什么以及哪一种更容易导航,这两种选择都是可行且有用的。
尽管如此,两者都会向您提供 LoRA 模型,该模型将与您的稳定扩散算法一起工作。
接下来,我们来探讨一下如何结合使用它们。
如何使用LoRA和Stable Diffusion 来源:Tech Crunch 另请阅读:如何查看Stable Diffusion中的提示历史记录?
因此,我们分别讨论了这两个程序,并简要讨论了如何定位 LoRA 模型。
现在,让我们深入研究如何在简化的分步过程中同时使用它们。
安装LoRA 首先,您需要安装LoRA 与稳定扩散Automatic1111 一起工作,这是一个相当简单的过程。
首先完成所需 LoRA 模型的下载。
下载完成后,确保将文件(.pt 或 .safetensor)放置在标记的文件夹 stable-diffusion-webui/models/Lora 中。
访问它 从那里,您将需要访问 LoRA 模型。
首先导航到 Automatic1111 稳定扩散 UI。
然后,找到“生成”按钮并观察其下面的五个选项。
选择中间标题为“显示/隐藏额外网络”的选项。
从那里,您应该能够看到已安装的选项、文本反转、超网络、检查点和 LoRA 模型。
激活然后,您就可以激活LoRA模型了。
具体来说,您需要在提示中输入以下短语:确保 LORA-FILENAME 是文件名,不带扩展名。
然后确保WEIGHT是LoRA的强度,范围可以是0-1。
仔细检查您是否通过Automatic111 的用户界面正确输入了文件名。
选择 LoRA 选项卡,然后导航到所需的型号。
然后应将 LoRA 关键词添加到您的提示中;
然而,这也可以手动完成。
生成一些图像!
激活 LoRA 模型后,您就可以开始有趣的部分:图像生成。
相反,值得注意的是,并非每个 LoRA 模型都与每个检查点模型兼容。
如果您在生成时遇到困难,请注意您可能需要探索替代检查点。