Stable Diffusion WebUI安装instruct-pix2pix插件

原创 已于 2023-03-05 11:32:53 修改 · 3.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#stable diffusion #深度学习 #人工智能

于 2023-03-05 09:29:36 首次发布
InstructPix2Pix模型由研究团队提出，结合GPT-3语言模型和StableDiffusion文本到图像模型，允许通过自然语言指令编辑图像。用户可以提供图像和文字指令，模型在几秒钟内就能完成编辑，无需微调或反向传播。安装instruct-pix2pix插件并下载模型文件后，用户可以在WebUI上尝试该功能。

instruct-pix2pix作者团队提出了一种通过人类自然语言指令编辑图像的方法。他们的模型能够接受一张图像和相应的文字指令(也就是prompt)，根据指令来编辑图像。作者团队使用两个预训练模型（一个是语言模型GPT-3, 另一个是文本到图像模型Stable Diffusion) 生成大量编辑图像的样例数据,然后基于这些数据训练出InstructPix2Pix模型，能够在推理过程中适用于真实图像和用户提供的指令。由于它在前向传播中执行编辑并且不需要对每个示例进行fine-tine或 inversion，模型仅需几秒钟就可快速完成图片的编辑。

安装instruct-pix2pix插件

instruct-pix2pix 拓展插件地址：

stable-diffusion-webui-instruct-pix2pixhttps://github.com/Klace/stable-diffusion-webui-instruct-pix2pix

打开 WebUI 界面 http://127.0.0.1:7860/

  1. 点击 "Extensions" 选项卡
  2. 点击 "Install from URL" 选项卡
  3. 将 instruct-pix2pix 的git地址粘贴到 "URL for extension's git repository"下面的输入框
  4. 点击 "Install" 按钮
  5. 重启 Web UI

安装成功后，插件位于WebUI目录的extensions\stable-diffusion-webui-instruct-pix2pix

下载模型文件

下载 instruct-pix2pix-00-22000.ckpt 模型文件

timbrooks/instruct-pix2pix at mainWe’re on a journey to advance and democratize artificial intelligence through open source and open science.https://huggingface.co/timbrooks/instruct-pix2pix/tree/main将下载的模型放到 models\Stable-diffusion 目录下

  1. 打开WebUI界面，点击instruct-pix2pix选项卡
  2. 选择 instruct-pix2pix-00-22000.ckpt 模型
  3. 拖拽一张图进来，填写Prompt
  4. 点击生成

CFG 代表 输入文本提示(prompt) 和 原图 在生成过程中的参照权重 这个值决定了生成过程要听从文字指令和原图的程度高低 默认Image CFG：1.5，Text CFG：7.5

Stable Diffusion WebUI中113个扩展汇总，总有你想要的
满目星辰
09-05 1470
有的人想要看看SD中有多少扩展，我花了一些功夫，做了一个扩展大汇总。扩展文件夹放在项目目录extensions文件夹下面就行了。下面把一些常见的和不常见的都写下来了。
【第7章】Stable Diffusion WebUI ControlNet基础速成（安装/升级/简介/类别/功能/效果速览）
聚梦小课堂
11-06 763
Stable Diffusion ControlNet基础知识点介绍，包括：安装与升级方式、功能简介、基础实现方式、CN的5大类别、各自的功能、效果速览等。学完本章，你将对SD绘画的可控性有一个全面的认知，为创作出可控的AI作品打下基础。
InstructPix2Pix Learning to Follow Image Editing Instructions
weixin_44966641的博客
07-10 1066
InstructPix2Pix 是扩散模型指令编辑方向比较经典的工作。核心还是在监督数据的构建，灵活地运用了大语言模型强大的泛化能力和 Prompt2Prompt 保持两次生图布局构图一直的能力。
UC伯克利提出AIGC图像编辑新利器InstructPix2Pix，AI模型P图更加精细
TechBeat人工智能社区博客
12-17 1553
一种可以完全根据人类指令来对图像进行编辑的模型
instruct-pix2pix-main代码
qq_46095076的博客
04-20 539
其第一个元素是程序本身，随后才依次是外部给予的参数。∗把函数test_args()接受到的多个参数’name’,‘age’,‘address’,‘sex’，打包成了元组(‘name’,‘age’,‘address’,‘sex’)，赋值给了形参args。在test(1,3,5,7,c=‘2’,d=4)中，函数里参数对应的数值为：a=1,*args表示剩下的没有名称的参数，**kwargs表示剩余的键值对。： 在 usage 说明中的参数名称，对于必选参数默认就是参数名称，对于可选参数默认是全大写的参数名称.
InstructPix2Pix: 一种无需微调新的快速图像编辑方法
专注计算机视觉全栈知识分享
03-23 746
如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！欢迎添加小编微信号:cv_huber，一起探讨更多有趣的话题！
使用 InstructPix2Pix 对 Stable Diffusion 进行指令微调
qq_73832926的博客
11-10 1805
指令微调是一种有监督训练方法，用于教授语言模型按照指令完成任务的能力。该方法最早由谷歌在(FLAN) 一文中提出。最近大家耳熟能详的AlpacaFLAN V2等工作都充分证明了指令微调对很多任务都有助益。图2：FLAN V2 示意图 (摘自 FLAN V2 论文)。使用这种方法，我们可以创建一个涵盖多种不同任务的训练集，并在此数据集上进行微调。图 3: FLAN V2 用于训练与测试的混合任务集 (图来自 FLAN V2 论文)。
强大到离谱！硬核解读Stable Diffusion（完整版）
热门推荐
qq_41771998的博客
04-11 1万+
2022年可谓是，上半年有文生图大模型和，下半年有OpenAI的文本对话大模型问世，这让冷却的AI又沸腾起来了，因为AIGC能让更多的人真真切切感受到AI的力量。这篇文章将介绍比较火的文生图模型，Stable Diffusion不仅是一个完全开源的模型（代码，数据，模型全部开源），而且是它的参数量只有1B左右，大部分人可以在普通的显卡上进行推理甚至精调模型。毫不夸张的说，Stable Diffusion的出现和开源对AIGC的火热和发展是有巨大推动作用的，因为它让更多的人能快地上手AI作画。
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1
2401_89213302的博客
12-20 1036
一、ControlNet1.1 的新模型新功能1、新增Lineart模型 和 lineart_anime模型现在新增了两个模型，lineart和lineart anime，完全可以替代原来的Canny强大的线稿上色，无论是上色黑白和彩色功能都非常强大。2、新增Instruct Pix2Pix 模型模型能够接受一张图像和相应的文字指令(也就是prompt)，根据指令来编辑图像，局部整体操纵图像程度的能力。将白天变为夜晚 ，如图：​ 换发型 ，如图：​换装 ，如图：​3、 新增Tile 模型Tile 模型对于图
浅析扩散模型与图像生成【应用篇】(十六)——InstructPix2pix
深视
04-27 1512
该文提出一种通过文字指令直接编辑和修改图像的方法。无需给出对图像的描述，只要给出修改的指令，就可以对输入图像进行编辑和修改，并且能够保留图像原本的内容不被破坏。编辑效果和泛化能力可以说是非常炸裂了。
InstructPix2Pix: 随口修图
xiexiecn的专栏
12-20 1359
​ 'InstructPix2Pix Learning to Follow Image Editing Instructions是一篇非常有意思的文章，有意思说的是效果，要做出论文的效果过程并没那么顺利。首先需要微调GPT3模型，这个花钱花力气，在之前的文章里已经提过，可以参考finetune一个GPT3。在此基础上稍微修改一下prompt2prompt的代码获取相关样本，然后再按论文的方法修改网络和初始化权重，fine tune一下stable diffusion。代码放在:xuduo35/Instru
【论文阅读】InstructPix2Pix: Learning to Follow Image Editing Instructions
weixin_44329069的博客
11-14 1421
给定一张输入图像和一条书面指令，模型按照指令对图像进行编辑。由于为此任务获取大规模训练数据非常困难，我们提出了一种生成配对数据集的方法语言模型（GPT-3）；文本到图像模型（Stable Diffusion）。这两个模型捕捉了关于语言和图像的互补知识，可以组合起来生成配对训练数据，用于同时涉及这两种模态的任务。我们利用生成的配对数据训练了一个条件扩散模型，该模型给定输入图像和文本指令后，生成编辑后的图像。
论文阅读三：InstructPix2Pix: Learning to Follow Image Editing Instructions
qq_58200356的博客
03-25 2204
本文讲述的是给定一张待编辑图像和指令对图像进行编辑，模型使用的训练数据集是通过语言模型（GPT-3）和文生图模型（SD）生成的，但在使用中依旧可以用于真实图片的编辑。
论文精读InstructPix2Pix: Learning to Follow Image Editing Instructions
m0_52474839的博客
04-26 873
我们的条件扩散模型InstructPix2Pix是在我们生成的数据上进行训练的，并在推理时推广到真实图像和用户编写的指令。我们为输入图像和书面说明的不同集合展示了令人信服的编辑结果。为了获得这个问题的训练数据，我们结合了两个大型预训练模型的知识——一个语言模型(GPT-3)和一个文本到图像模型(Stable Diffusion)——来生成一个大型图像编辑示例数据集。（3）编辑后的描述。我们提出了一种根据人类指令编辑图像的方法:给定输入图像和告诉模型该做什么的书面指令，我们的模型遵循这些指令来编辑图像。
InstructPix2Pix（CVPR2023）-图像编辑论文解读
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
09-06 6035
InstructPix2Pix，CVPR2023，加利福尼亚大学，伯克利分校出品，通过引导语即可完成图像编辑
InstructPix2Pix: 动动嘴皮子，超越PS
华为云官方博客
03-16 2115
InstructPix2Pix提出了一种使用文本编辑图像的方法：给定输入图像和编辑指令，告诉模型要做什么，模型将遵循这些指令来编辑图像。
【亲测免费】 深度学习图像处理新篇章：InstructPix2Pix实战指南
gitblog_02771的博客
12-26 1367
在深度学习领域，图像处理技术一直在不断演进，为创意和技术应用提供了无限可能。今天，我们将深入探索一个强大的图像处理模型——InstructPix2Pix，这是一款能够根据指令编辑图像的利器。本文将带您从入门到精通，掌握InstructPix2Pix的使用方法。 ## 模型简介 InstructPix2Pix是基于稳定扩散模型的一个变体，它能够理解并执行图像编辑的指令。不同于传统图像编辑工具，I...
多模态中的指令控制（InstructPix2Pix，SayCan）
nakaizura
12-10 4739
整理一下关于多模态中的instruction tuning。图像的语言指令生成。目的是遵循人工指令去编辑图像，即给定输入图像和一个如何编辑它的文本指令，模型尝试遵循这些指令来编辑图像。 这份论文与现有基于文本的图像编辑工作们最大的不同在于
stable-diffusion-webui安装sd-webui-controlnet
最新发布
08-16
在 `stable-diffusion-webui` 中安装 `sd-webui-controlnet` 插件是一个常见的需求，尤其对于希望增强图像生成控制能力的用户。以下是详细的安装步骤： 1. **获取插件代码** 首先，克隆 `sd-webui-controlnet` 插件的 GitHub 仓库到 `stable-diffusion-webui` 的扩展目录中： ```bash cd /path/to/stable-diffusion-webui/extensions git clone https://github.com/fkunn1326/sd-webui-controlnet ``` 2. **放置模型文件** 将 `ControlNet` 模型文件放置在插件的模型目录中。根据引用内容，插件的模型存放位置为： ``` ./stable-diffusion-webui/extensions/sd-webui-controlnet/models ``` 确保模型文件（如 `controlnet_model.pth`）正确放置在此目录中，以便插件能够识别并加载这些模型 [^1]。 3. **放置标注器文件** 如果需要使用特定的标注器（annotator），可以将相关文件放置在插件的 `annotator` 目录中： ``` ./stable-diffusion-webui/extensions/sd-webui-controlnet/annotator ``` 这些文件通常用于生成图像的标注信息，以支持 `ControlNet` 的功能 。 4. **重启 `stable-diffusion-webui`** 完成插件安装和模型文件的放置后，重启 `stable-diffusion-webui` 服务，以确保插件生效： ```bash cd /path/to/stable-diffusion-webui python launch.py ``` 5. **验证插件安装** 打开 `stable-diffusion-webui` 的界面，检查是否能够找到 `ControlNet` 相关的选项或面板。如果插件安装成功，应该能够在界面中看到与 `ControlNet` 相关的功能，例如模型选择、标注器配置等 [^5]。 ### 相关问题 1. 如何在 `stable-diffusion-webui` 中配置 `ControlNet` 插件的模型参数？ 2. `sd-webui-controlnet` 插件支持哪些类型的标注器？ 3. 如何在 `stable-diffusion-webui` 中更新 `sd-webui-controlnet` 插件？ 4. 安装 `sd-webui-controlnet` 插件后，如何测试其功能是否正常？ 5. `ControlNet` 插件对生成图像的质量有何影响？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值