【Stable Diffusion】大模型Lora触发词插件lora-prompt-tool

前言

又是一个神器,小伙伴们搬好小板凳,准备好我要开始了。

我们知道,在很多模型和lora使用的时候,是需要填写触发词的。比如这个盲盒lora,提示词就是“full body,
chibi”,需要把这些触发词放到正向提示词里面才能达到想要的效果。

举个例子,当我们只引用lora,而不填入触发词的时候是这样的。

当我们填入特定的触发词之后,就达到了这个lora该有的效果。所以,有的时候你的成图效果不理想,有可能是因为你没有填写模型或lora的触发词。

但是,当你的模型和lora越来越多的时候,你还能记得它们的触发词吗?那肯定是不可能的。

这时候就需要我们的插件登场了,它就是——lora-prompt-tool

安装方式就是在扩展面板中点击“从网址安装”,然后输入以下地址https://github.com/a2569875/lora-prompt-
tool,可以直接安装。

或者将我提供的插件文件夹复制到这个目录下“……\sd-webui-aki-v4\extensions”。

安装完成后,重启webUI,就装好了。

接下来,在你想要使用的lora上面点击右键,就可以看到它的触发词了,直接点击就能加载到正向提示词当中。

当然,并不是所有的模型或者lora都有触发词,这个时候你也可以手动编辑,给它加上你自定义的触发词。

不过,这些还不是这个插件最厉害的功能。

当我们浏览C站上这个模型/lora的主页的时候,是可以看到很多官方图的。

我们之前安装的C站助手插件,是可以将这张封面图的提示词一键导入到SD里面,这样可以帮助我们快速得到这个官方图片的效果。

而当我们安装了这个插件之后,我们就可以直接从这里看到官方的其他例图,并且可以一键将这张图所有的提示词和设置参数全部拷贝到SD中。

这样就能生成和官方图片差不多的效果了,大模型需要你自己选择好。当然这个操作的目的不是让你抄袭别人的图片,而是可以更好的学习到一些关键的提示词写法,达到事半功倍的效果。

以上就是关于大模型/Lora触发词插件lora-prompt-tool的介绍,有了它之后,我们就能更轻松的使用模型和lora了。

但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
在这里插入图片描述

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

在这里插入图片描述

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

### 如何在 Stable Diffusion 中加载和应用 LoRA 模型 #### 加载 LoRA 模型进行推理 为了在 Stable Diffusion 中加载并使用预训练好的 LoRA (Low-Rank Adaptation) 模型,用户需遵循特定流程来确保模型能够被正确识别与利用。首先,在启动 WebUI 后,进入设置界面找到模型管理部分。 通过指定路径指向已下载的 `.safetensors` 或者其他支持格式文件的方式引入外部 LoRA 权重[^1]。具体操作如下: - 打开 `Settings` 菜单下的 `Model` 选项卡; - 寻找有关 “Additional Networks” 的配置项; - 将准备好的 LoRA 文件上传至服务器或提供本地绝对路径给到对应的输入框内; 完成上述步骤之后保存更改即可使新加入的模块生效,此时便可以在生成图像时选择该 LoRA 模型作为附加网络的一部分参与计算过程。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "path_to_your_model" lora_path = "/absolute/path/to/lora_weights.safetensors" pipe = StableDiffusionPipeline.from_pretrained(model_id).to("cuda") scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config) pipe.scheduler = scheduler # Load the LoRA weights into pipeline pipe.unet.load_attn_procs(lora_path) prompt = "a photo of an astronaut riding a horse on mars" image = pipe(prompt=prompt).images[0] image.show() ``` 这段 Python 代码展示了如何将自定义训练得到的 LoRA 参数集成进现有的稳定扩散流水线中用于图片创作任务。 #### 使用 LoRA 进行微调训练 对于希望进一步优化现有 LoRA 结构或是基于特定数据集定制化开发场景而言,则涉及到更深层次的操作——即采用低秩适应方法调整原有大模型参数而不破坏其泛化能力的前提下实现高效迁移学习目的。这通常意味着要编写额外脚本来处理数据集准备、损失函数设计以及超参调节等工作。 当一切就绪后,可以借助命令行工具执行实际训练作业,并监控进度直至收敛满意为止。值得注意的是,由于涉及到了权重更新机制,因此务必确认所使用的框架版本兼容性良好以免遇到不必要的麻烦。 ```bash python train_lora.py \ --pretrained_model_name_or_path=path_to_base_model \ --dataset_name=your_dataset \ --output_dir=output_directory_for_trained_models \ --learning_rate=5e-5 \ --max_train_steps=3000 \ --train_batch_size=4 \ --gradient_accumulation_steps=2 \ --use_ema \ --mixed_precision="fp16" \ --enable_xformers_memory_efficient_attention ``` 此 Bash 命令片段给出了一个典型的工作流实例,其中包含了多个关键参数设定以指导整个训练周期内的行为表现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值