Stable Diffusion｜背景替换只需要两分钟！

已于 2024-01-15 16:44:16 修改
阅读量3.6k 收藏 23
点赞数 19
CC 4.0 BY-SA版权
文章标签： stable diffusion 人工智能 AIGC AI ai绘画
于 2023-12-21 10:30:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JAVAmonster12/article/details/135124226

今天分享一个用Stable Diffusion换背景的小教程。在以往为产品或照片更换背景时，我们通常需要先仔细地将主体内容抠出，再利用PS或其他图像处理工具将主体与新背景进行融合。这个过程往往需要花费大量的时间和精力。这个方法虽然可行，但不够高效，非常考验图片处理技术。

今天我将分享一个简单又高效又实用的背景替换小教程，不需要深厚的图片处理技术就可以在几分钟内轻松完成背景替换。

在这里插入图片描述
在这里插入图片描述

1、前期准备

本文将会用到“Inpaint anything”插件，也可以使用“Segment anything”有这俩插件任意一个就行。

如果还没有安装插件的可以启动“Stable Diffusion”，点击“扩展”—“可下载”—再点击“加载扩展列表”，搜索关键词“inpaint anything”或“segment anything”，点击“安装“，安装完成之后，重启一下“Stable Diffusion”即可。

在这里插入图片描述

2、卡通图片

1. 打开Stable Diffusion，点击顶部栏的“Inpaint Anything”，然后上传一张图片，选择一个“Segment Anything”的模型。这里我选择了默认的“sam_vit_l_0b3195.pth”，如果前面还没下载的，记得先点旁边的“下载模型”进行模型下载。

在这里插入图片描述
2. 点击“运行 Segment Anything”按钮，大概等待1分钟左右，右边就可以看到在原图上经过分离并用不同的色块标注的物体，然后在背景的色块上点一下或者简单的涂一下来选择区域。

在这里插入图片描述
3. 区域选择完之后，如果背景是黑色的色块，记得取消勾选“忽略黑色区域”然后点击“创建蒙版”。

在这里插入图片描述
4. 蒙版创建完之后，点击左侧的“仅蒙版”选项，然后在点击“获取蒙版”。

在这里插入图片描述
5. 获取到了蒙版之后，点击下方的“发送到图生图重绘”按钮，将蒙版发送到图生图。

<

最低0.47元/天 解锁文章
揭秘 Stable Diffusion：利用 AI 智能绘图功能，打造出具有创意性的平面设计作品——AI 作图神器 Stable Diffusion 有哪些强大功能？应用案例详解
AI天才研究院
06-12 3万+
在当今数字化时代，人工智能技术已经深入到我们的生活中的各个领域。其中，AI 智能绘图功能已经成为了许多设计师和创意工作者的必备工具。今天，我们将为大家揭秘一款备受关注的 AI 作图神器 Stable Diffusion，它具有哪些强大的功能和特点。Stable Diffusion 是一款基于开发的作图神器，具有许多强大的功能，包括：1.：Stable Diffusion 可以智能识别用户上传的图片，并自动调整图片质量和色彩，让图片更加清晰、饱满。
【2025 Stable Diffusion WebUI 基础详解】【5.text2img到img2img的转换实操】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
05-06 558
2025 年的 Stable Diffusion WebUI 已从单纯的图像生成工具进化为全流程创意平台，其核心在于通过参数组合实现“可控的创造力”。未来，随着多模态技术的成熟，Stable Diffusion 将进一步渗透到 3D 建模、视频生成等领域，成为数字内容创作的基础设施。text2img 是基于文本提示词直接生成全新图像的过程，其核心是将文本嵌入向量与随机噪声通过 U-Net 模型逐步去噪，最终生成符合语义的图像。
AI绘画 | Stable Diffusion 图片背景完美替换
白帽阿叁的博客
01-31 4936
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable Diffusion｜黑白老照片修复
xiaolinyui的博客
05-24 936
在这个时代，我们习惯于拥有高清、色彩丰富的照片，然而，那些古老的黑白色老照片由于年代的久远，往往会出现模糊、破损等现象。
Stable Diffusion - 轻松更换图片的背景
最新发布
m0_58477260的博客
05-13 490
今天，我们将带您探索如何利用Stable Diffusion，利用现有图像指定更换图像的背景构图信息，也就是将两张图像进行融合从而达到更换图像背景的目的。实战体验这里生成蒙版使用的是插件Inpaint Anything，所以没有安装该插件的需要先进行该插件的安装。蒙版制作步骤如下所示：在输入图像中，上传对应的图片点击按钮 Run Segment Anything，生成对应的预览图圈定需要生成蒙版的区域点击 Create Mask 按钮，获取圈选的区域。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5573
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
【AI绘画】用Stable Diffusion无限更换人物背景！1分钟自动生成10张不同风格模特图！
阿道夫的博客
07-03 1051
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。上传需要替换的背景图像，并生成图像的线稿图。重绘区域选择蒙版外，也就是非蒙版区域。
Stable Diffusion最强功能—— 图片背景完美替换
mate1357的博客
07-04 1131
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Gaussian Splatting+Stable Diffusion进行3D场景编辑！腾讯提出TIP-Editor新框架！
强化学习曾小健
06-23 1098
我们提出了一个名为TIP-Editor的3D场景编辑框架，它可以接受文本、图像提示和3D边界框来指定编辑区域。通过图像提示，用户可以方便地补充文本描述，从而准确控制目标内容的详细外观/风格。具体而言，TIP-Editor采用了逐步个性化的2D策略来更好地学习现有场景和参考图像的表示，其中提出了局部化损失以鼓励根据边界框指定的正确对象放置。此外，TIP-Editor使用显式且灵活的3D高斯绘制作为3D表示，以便在保持背景不变的同时进行局部编辑。大量实验证明，TIP-Editor能够在。
刚刚！Stable diffusion 2024升级加强版终于来了！（无需安装，解压即用）
m0_71744960的博客
06-26 1953
要说AI绘画圈最出圈的工具那妥妥的就Stable diffusion这不前段时间2024升级加强版来咯！不仅生成图片还能生成视频\数字人等而且无需安装，直接解压就能用Stable Diffusion 是以文本生成图像的 AI 工具，不仅可以在线使用，还能部署在家用电脑上的 AI 绘图工具，可以在大部分后期电脑下运行，并在短短几秒钟内生成清晰度高，还原度佳的 AI 图片，无需预处理和后处理！这里直接将该软件分享出来给大家吧~
Stable Diffusion WebUI 更换图片背景
培根芝士的专栏
05-19 835
Rembg是一个用于去除图像背景的开源工具，能够智能地识别和分离图片中的主体与背景，生成高质量的抠图效果。
AI 绘画 | Stable Diffusion 人物 换背景|换服装
洛阳泰山的博客
11-27 1675
图片蒙版是一种用于调节图像修改程度以及进行局部调整的工具。它通常分为四种类型，包括图层蒙版、剪贴蒙版、矢量蒙版和快速蒙版。蒙版一词本身具有“蒙在上面的板子”的含义，在Photoshop中，蒙版通常只有三种颜色，即黑色、白色和灰色。黑色代表保护，白色代表允许修改，灰色则用来调整被修改的程度。通过使用蒙版，用户可以选择性地保护或修改图像的特定区域。sd-webui-controlnet扩展插件之前已经讲过如何安装使用了。
用AI给照片换脸和换背景，就是这么简单，stable-diffusion教程
m0_59162248的博客
05-20 2391
今天我们要用AI绘图软件 **stable-diffusion** 对照片进行换脸和换背景操作，对，就是下面这张照片，我们要对它进行换脸和换背景操作。这张照片其实也是AI生成的，当然你可以用你自己实拍的照片进行操作。 首先，将原始图片拖到 webui操作台的**图片信息**中，然后点击右下方的**图生图**功能。
Stable Diffusion｜背景替换只需要两分钟！小白也能轻松学会
Eqiqi的博客
11-01 792
我们可以看到，无论是卡通的图片还是写实的照片，通过AI工具，主体内容都与新背景完美地融合在了一起。与之前可能需要几个小时才能完成的任务相比，现在我们只需要短短的几分钟即可完成。熟练使用AI工具可以给我们提高很高的效率并且输出的内容只需要稍微的修改一下就可以直接使用。
部署本地sd如何进行个人的定制化训练？能够用某个人的多张照片训练，生成这个人的专属照片吗？需要怎么调试，我的电脑是4060显卡 32g内存
02-24
<think>好的，我现在需要回答用户关于如何在本地部署Stable Diffusion并进行个人定制化训练的问题，特别是使用某个人的多张照片生成专属照片的方法，以及针对他的4060显卡和32G内存的调试建议。让我先理清楚这个问题的各个方面。 首先，用户可能对Stable Diffusion（SD）有一定的了解，但可能不熟悉具体的训练步骤。我需要解释清楚整个流程，包括部署、数据准备、训练和推理。同时，用户提到使用个人照片进行训练，这通常指的是训练一个LoRA模型或者使用Dreambooth方法，这两种方法都是常见的个性化训练手段。 接下来，我需要考虑用户的硬件配置。4060显卡虽然属于中高端，但显存可能只有8GB或12GB，而32G内存足够，但训练时的显存限制是关键。需要推荐适合他显存的训练方法，比如使用LoRA，因为Dreambooth可能需要更高的显存，可能需要优化设置或者使用内存优化技术。 然后，数据准备的注意事项。用户需要收集多张照片，但具体数量和质量要求是多少？通常建议至少15-20张不同角度和光照的照片，并且需要预处理，比如调整大小、裁剪、去除背景等。这部分需要详细说明，以确保训练效果。 训练步骤方面，可能需要分阶段说明：安装必要的库和依赖，准备数据，配置训练参数，运行训练，以及最后的测试。用户可能对命令行操作不熟悉，所以需要给出具体的命令示例，并说明参数的作用，如学习率、步数等。 调试部分，用户可能会遇到显存不足的问题，需要建议调整batch size、使用xformers、梯度检查点等技术。此外，训练过程中的过拟合和欠拟合问题，如何根据loss值调整参数，以及如何测试模型效果。 最后，注意事项部分，包括显存限制、数据质量、训练时间等，确保用户有合理的预期。特别是使用真人照片时的隐私和伦理问题，需要提醒用户注意。 现在需要确认是否有遗漏的步骤或者可能的误区。例如，是否推荐使用特定的用户界面（如AutoDL的脚本），或者是否有更简便的工具（比如SD的WebUI插件）。此外，对于4060显卡，是否支持半精度训练或哪些优化库必须安装？ 总结来说，回答的结构应该是：简介、部署步骤、数据准备、训练方法（LoRA/Dreambooth）、调试建议、注意事项，最后总结。需要确保语言简洁，步骤清晰，适合有一定技术背景但可能不熟悉细节的用户。</think>好的，以下是如何在本地部署 **Stable Diffusion (SD)** 并进行个性化定制训练的详细指南，针对你的 **RTX 4060 显卡 + 32G 内存**配置优化： --- ### 一、准备工作：部署 Stable Diffusion 1. **安装基础环境** - 推荐使用 **Stable Diffusion WebUI (AUTOMATIC1111)**，支持图形化界面和插件： ```bash git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui cd stable-diffusion-webui ./webui.sh # Linux/macOS 或 webui-user.bat（Windows） ``` - 安装时会自动下载模型，默认使用 `v1-5-pruned.ckpt`，也可替换为其他模型（如 SDXL）。 2. **硬件适配** - **RTX 4060 显存通常为 8GB/12GB**，训练时需注意显存限制： - 使用 `--medvram` 或 `--lowvram` 参数启动 WebUI 以优化显存。 - 安装 **xformers** 加速训练和推理（在启动命令中加 `--xformers`）。 --- ### 二、个性化训练：用多张照片生成专属模型 #### 方法 1：训练 **LoRA 模型**（显存需求低，推荐 4060） 1. **数据准备** - 收集 **15-30 张** 目标人物的高质量照片，要求： - 多角度（正面、侧面）、多表情、不同光照。 - 分辨率建议 `512x512` 或 `768x768`，可用工具裁剪（如 Photoshop 或在线工具）。 - 删除无关背景（可选），提升主体聚焦。 - 将图片放入 `stable-diffusion-webui/train/lora/person_name` 文件夹。 2. **标注图片** - 为每张图片添加文本描述（`.txt` 文件），例如： ``` a photo of [name] person, wearing a jacket, in a park ``` - 关键点：**统一使用固定触发词**（如 `[name]`）并在训练中绑定。 3. **训练步骤** - 使用 WebUI 的 **LoRA 训练插件**（如 `sd-scripts`）或命令行工具： ```bash # 示例命令（需根据路径调整） accelerate launch train_network.py \ --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \ --train_data_dir="./train/lora/person_name" \ --output_dir="./output" \ --resolution=512 \ --learning_rate=1e-4 \ --max_train_steps=1000 \ --use_8bit_adam \ # 8bit 优化器节省显存 --mixed_precision="fp16" # 半精度训练 ``` - **关键参数**： - `batch_size`: 建议 `1-2`（根据显存调整）。 - `network_dim=128`: 控制 LoRA 复杂度，越高越精细但可能过拟合。 - 训练时间：约 30 分钟~2 小时（4060 显卡）。 4. **测试模型** - 将生成的 `.safetensors` 文件放入 `models/Lora`，在 WebUI 中通过触发词调用： ``` a photo of [name] person, [场景描述], lora:person_name:0.8 ``` --- #### 方法 2：Dreambooth 训练（显存要求高，需优化） - **适合场景**：需更高精度的个性化生成，但 4060 可能需要牺牲分辨率或使用优化： ```bash # 使用 diffusers 库 + 内存优化 pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5") pipe.enable_xformers_memory_efficient_attention() pipe.unet.enable_gradient_checkpointing() # 梯度检查点节省显存 ``` --- ### 三、调试技巧 1. **显存不足** - 降低 `batch_size` 或 `resolution`（如 512→384）。 - 启用 `--gradient_checkpointing` 和 `--use_8bit_adam`。 - 使用 `--mixed_precision=fp16` 减少显存占用。 2. **过拟合/欠拟合** - **过拟合**（生成与训练图过于相似）：减少训练步数（`max_train_steps`）、增加数据集多样性。 - **欠拟合**（无法还原特征）：增加训练步数、检查触发词是否正确绑定。 3. **提升生成质量** - 在推理时使用 **High-Res Fix** 或 **ControlNet**（指定姿势/边缘）。 - 调整 CFG Scale（7-12）和 Sampler（推荐 DPM++ 2M Karras）。 --- ### 四、注意事项 - **显存限制**：LoRA 训练约需 6-8GB 显存，Dreambooth 可能需要更高（需优化）。 - **数据质量**：避免模糊或遮挡过多的照片，否则模型无法学习特征。 - **伦理问题**：生成他人肖像前需获得授权，避免滥用。 --- ### 五、总结 你的配置（4060 + 32G）完全支持 **LoRA 训练**，按照上述步骤操作即可生成专属模型。若初次尝试，建议从少量图片（如 20 张）和低 `network_dim`（如 64）开始，逐步调整参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值