(二) AIGC—Stable Difussion （1）

原创 已于 2023-04-24 14:56:26 修改 · 797 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AIGC #计算机视觉 #人工智能

于 2023-04-24 14:54:11 首次发布
部署运行你感兴趣的模型镜像

1. 前置知识

目前通用的图像生成模型一般包含三个组件：

  • Text Encoder 根据文字生成向量
  • 生成模型 根据向量和Noise 生成 缩小版本的图像
  • Image Decoder 根据小分辨率图像生成大分辨率图像

2. Text Encoder

在这里插入图片描述
文字的Encoder对于结果的影响很大，增大Diffusion Model对结果的影响比较有限。

在这里插入图片描述

FID : 衡量一个图像好坏的一个标准,需要sample很多的Image进行标准衡量
CLIP-Score : 也是一个衡量标准，如下图，两个encoder生成出来的向量距离远近

在这里插入图片描述

3. Decoder

额外的Decoder不需要piar的资料，只需要图像就可以把Decoder训练出来

在这里插入图片描述
在这里插入图片描述
Imagen用到就是把小图当作中间产物，Stable Diffusion和DALL-E把latent representation当作中间产物

4. Generative Model

在这里插入图片描述

在这里插入图片描述
Midjourney 生图的时候，从模糊到清楚，其原理就是把每次Denoise的中间产物经过Decoder再次加工，所以可以看到比较清楚，而不是噪声

您可能感兴趣的与本文相关的镜像

Seed-Coder-8B-Base

Seed-Coder-8B-Base

文本生成
Seed-Coder

Seed-Coder是一个功能强大、透明、参数高效的 8B 级开源代码模型系列，包括基础变体、指导变体和推理变体，由字节团队开源

【Stable Diffusion】图像生成VAE滤镜与图像微调
Mr数据杨
07-05 4015
VAE在Stable Diffusion中的应用显著提升了图像生成质量，通过色彩饱和度和细节的灵活调控，使输出更具表现力。VAE模型支持多种优化方式（如MSE和EMA）满足不同需求，用户可通过下载安装不同VAE模型实现特定效果。对比测试显示，VAE能有效改善图像灰暗问题，增强色彩表现。该技术为AI图像生成提供了更多创作可能，是提升视觉质量的关键工具。
「AIGC」Stable Diffusion教程详解
拥抱AI Design
05-17 1150
Stable Diffusion具有直观的用户界面，用户可以通过调整绘画参数并实时预览结果来创建艺术作品。软件支持选择不同的画布、画笔和颜色，以及调整图像的风格、纹理和颜色等参数。
Stable Difussion能做什么？
Retractable charging cables factory
07-04 2320
每个词元随后将转换为一个包含768个数值的向量，我们称之为标签（Embedding）（是的，就是那个你在SD GUI工具中所使用的Embedding）。我们为什么需要标签？如果你将降噪强度（denoising strength）设置为1，那你获得的图片其实就等价于纯粹使用文本指令运行文本生成图片工具所得到的结果，因为此时这两种功能使用的初始潜空间图像都是一个完全随机的噪声图。标签的使用是有魔法的。训练的过程也是一样的，训练流程中生成的并不是噪声图像，而是潜空间中的张量（即一个4x64x64的噪声图）。
全网都在找的Stable Diffusion本地部署教程（小白100%成功）
2401_83598564的博客
03-15 1779
本地部署的压缩包内容五花八门，网上教程千奇百怪，各种报错层出不穷，我这里推荐秋叶大佬的整合包，这可以说是目前网上最好的SD本地部署包了。目前比较流行的3060、4060，都是可以流畅使用的，当然，如果你的显卡不是这两种，可以参考图中内容。转自：https://zhuanlan.zhihu.com/p/626516314。显卡（N卡）排行榜，可以参考这个图。
【SD零基础教程】图生图-手把手教你StableDifussion
Trb701012的博客
01-22 1376
今天来跟大家分享一下关于Stable Diffussion的图生图功能。之前有讲到过Midjourney和Stable Diffusion在控制图片方面最大的区别就是SD可以实现精细化的控制，那么SD之所以可以精细化的控制就是因为他的图生图功能，好了，废话不多说，我们开始今天的分享。
关于AIGC stable diffusion 在图像超分上的算法整理
qq_42261630的博客
04-09 665
对扩散过程的理解：假如有一副高清晰度的图片，每一步都图片上添加一些噪声，最终这幅图片变得完全模糊。扩散的任务就是学习如何逆转这过程，从一副白噪通过逐步去噪，最终还原出清晰地的图片。diffusion model 扩散模型是一类生成模型的统称，基于扩散过程生成数据。第一个是正向扩散过程：即逐步向数据中添加噪声，时期转变为纯噪声，这个过程通常是一个马尔可夫链，每一步添加少量高斯噪声。第二个是逆向生成过程：学习从噪声中逐步去除噪声，恢复出原始数据，这个过程也是一个马尔可夫链，但方向相反，逐步去噪。
AIGC之Stable Diffusion 提示词学徒库
weixin_43976226的博客
04-01 5053
描述：本文主要用来记录 提示词TAG。
深度学习-67-大语言模型LLM之基于Stable Difussion体验AI绘画
qq_20466211的博客
09-15 587
Stable Diffusion (扩散，以下简称 SD) 是一个文本到图像生成模型, 即通常所说的AI绘画。Stable Diffusion WebUI是一个工具包, 为SD提供了一个便捷的交互界面。
【AIGC】如何在Windows/Linux上部署stable diffusion
拾一滴清水的博客
03-29 2982
保姆级安装部署stable diffusion教程，在win10和linux上测试通过。
【2025 Stable Diffusion WebUI 初始入门】【3.Stable Diffusion启动器参数详解】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-25 1080
网络配置： 可实现局域网共享， 支持自定义端口号。 调试模式： 用于快速验证界面布局，节省模型加载时间。 2. 显存优化参数 显存分级策略：根据显卡显存选择 或 ，配合 可提升30%速度。 精度控制： 可解决部分显卡生成异常问题。 3. 性能增强参数 硬件适配： 仅适用于NVIDIA 16系以上显卡。 精度权衡： 可减少显存占用，但可能导致细节损失。 二、WebUI界面深度解析 1. 主界面参数体系 （1）生成控制模块 字段名称 取值范围 功能说明 提示词（Prompt）
AIGC实战——扩散模型(Diffusion Model)
热门推荐
盼小辉丶的博客
02-26 1万+
本节介绍了最近最先进的生成模型之一，扩散模型。介绍了去噪扩散概率模型 (Denoising Diffusion Probabilistic Model, DDPM)，并利用去噪扩散隐式模型 (Denoising Diffusion Implicit Model, DDIM) 的思想，使生成过程具备完全的确定性。扩散模型由前向扩散过程和逆扩散过程组成，前向扩散过程通过一系列小步骤向训练数据添加噪声，而逆扩散过程中模型的目标是预测添加的噪声。
【2025 Stable Diffusion ControlNet插件详解】【12.ControlNet 面部模型】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
05-07 833
其核心机制是通过引入"条件扩散模型"，将用户输入的图像特征（如边缘/深度/姿势）与文本提示词进行联合建模。引入自适应权重分配机制，可根据图像复杂度自动调整ControlNet与提示词的干预比例，解决传统固定权重导致的细节丢失问题。新增支持3D点云数据、视频关键帧序列作为输入条件，实现动态场景生成（如人物连续动作动画）模型体积缩小60%的同时保持98%的精度，4GB显存设备可流畅运行所有预处理模块。预计2026年将支持NeRF数据输入，实现3D场景实时生成。实验室环境下的量子版本生成速度提升1000倍。
Stable Diffusion本地部署
码海逆行
03-26 3725
本地搭建stable diffusion
走进AI图像生成核心技术 - Diffusion
Baihai_IDP的博客
01-10 3446
2022年，Diffusion model成为图像生成领域的重要发现，推动了AI绘画应用的爆发式发展。Diffusion模型相较于其他的图像生成模型，在所需数据更少的背景下，图像生成效果有明显提升。 本期IDP Inspiration，我们将和大家一起走进Diffusion的发展史。
家居服赛道竞争白热化，AIGC能否成为品牌突围利器？
最新发布
2506_94275435的博客
12-19 132
这一系列能力的根基，在于北京先智先行科技有限公司构建的五大核心业务矩阵：先知大模型私有化部署、先知 AIGC 超级工场、AI 训练师、先知人力资源服务、先知产业联盟。结合先知 AIGC 超级工场的规模化内容生产能力，品牌可实现新品预告、促销活动等营销材料的快速迭代与个性化定制，显著降低对外部资源的依赖与时间成本。站在AIGC服务使用者的角度，这系列赋能直接带来了更快的市场响应速度、更低的试错成本以及更贴近消费者需求的产品与服务。技术的价值，正体现在这些切实的商业成效与增强的用户连接之中。
告别“抽卡式”创作，集之互动定义商业级AIGC视频交付新标准
zhijieqianyan的博客
12-16 341
对于普通用户而言，AI生成视频中偶尔出现的肢体扭曲、光影错乱或许是某种“艺术风格”，但对于追求精准表达的商业品牌来说，这却是无法接受的“事故”。在这个从“技术猎奇”向“产业落地”跨越的关键窗口期，依托自研大模型与500强企业的深度合作经验，集之互动推出了一套集“高可控、强贴合、高安全”于一体的品牌级广告内容生成解决方案。在当前的市场上，我们看到了大量由AI生成的“视觉垃圾”——它们或许画面精美、特效酷炫，但却缺乏灵魂，无法传递品牌的核心价值，甚至与品牌原有的VI（视觉识别）体系格格不入。
AIGC赋能家居服行业，如何实现成本与创意双赢？
2506_94275435的博客
12-18 259
公司的五大核心业务——先知大模型私有化部署、先知 AIGC 超级工场、AI 训练师、先知人力资源服务、先知产业联盟，构成了完整的服务体系。通过与先知产业联盟的连接，品牌还能获取行业前沿洞察与资源，加速创新。先知 AIGC 超级工场更进一步，将内容生产的全流程自动化、标准化，使团队能专注于更具价值的创意与策略工作。从客户体验视角看，AIGC服务赋能的家居服品牌，能够提供更个性化、更迅捷的服务，例如AI驱动的款式推荐、智能客服解答穿着与洗涤疑问，从而提升客户满意度与忠诚度。私信留言，即可获取专属行业解决方案。
软件开发（AIGC版）课程教学解决方案
whwzzc的博客
12-16 616
（一）课程建设背景在数字化浪潮中，AIGC 技术已成为软件开发领域创新变革的核心驱动力。从智能代码生成到自动化测试，从智能交互设计到数据驱动的决策优化，AIGC 正全方位重塑软件开发流程，深刻改变着行业的技术架构与人才需求结构。据知名行业调研机构 Gartner 预测，到 2026 年，超过 70% 的软件开发任务将借助 AIGC 工具完成，对掌握 AIGC 技术的软件专业人才需求将激增 200%。职业教育作为与产业发展紧密相连的教育类型，肩负着为行业输送高素质技术技能人才的重任。面对 AIGC 时代的新机
【AIGC】即梦omnihuaman-api调用实现
qq_44091004的博客
12-18 972
摘要：该项目是基于火山引擎即梦API的数字人视频生成Demo，支持图片+音频驱动生成数字人视频。核心功能包括AK/SK在线填写、图片/音频上传、主体检测与Mask选择、Prompt控制、视频生成与下载等。运行环境要求Python≥3.9和可公网访问的静态文件服务。项目提供了完整的配置指南和使用流程，适用于技术演示、API调用示例和二次开发基础。注意事项包括使用清晰正脸图像、控制音频时长等。项目开源地址已提供，并声明仅为API使用示例，效果以官方为准。
调用stable difussion
03-31
### 调用Stable Diffusion API 或 解决调用过程中的问题 #### 使用Gradio库构建浏览器界面 为了通过API调用Stable Diffusion模型，可以利用基于Python的开源工具Gradio来创建简单的Web接口。这种方法允许用户无需深入了解复杂的编程细节即可操作AI模型[^1]。 以下是实现这一功能的一个基本代码框架： ```python import gradio as gr from diffusers import StableDiffusionPipeline import torch model_id = "runwayml/stable-diffusion-v1-5" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda") def generate_image(prompt, num_inference_steps=50, guidance_scale=7.5): image = pipe(prompt, num_inference_steps=num_inference_steps, guidance_scale=guidance_scale)["sample"][0] return image interface = gr.Interface( fn=generate_image, inputs=["text", gr.Slider(10, 100), gr.Slider(1, 15)], outputs="image", ) interface.launch() ``` 上述脚本展示了如何加载预训练的Stable Diffusion管道并定义一个函数`generate_image()`用于图像生成。随后使用Gradio的`Interface`类将该逻辑封装到易于使用的图形界面上。 #### 处理异步集成挑战 尽管Gradio提供了便捷的方式访问深度学习模型，但在某些情况下可能需要与其他服务协同工作，比如Java环境下的应用服务器。然而，由于缺乏丰富的类库支持同步交互模式，这可能会成为一大障碍[^2]。针对这种情况，推荐考虑以下几种策略之一： - **采用消息队列机制**：借助Kafka或者RabbitMQ这样的中间件产品，在不同技术栈之间传递请求数据包。 - **RESTful微服务架构设计**：把运行着Python后端程序的部分部署成独立的服务节点，对外暴露标准化HTTP endpoints供其他组件消费。 如果目标平台已经具备较为成熟的网络通信能力，则可以直接尝试引入最新的改进成果，例如Apache Axis2所提供的异步Web Services特性或是Tomcat 6新增加的支持Comet风格Servlet的功能点。 #### 常见错误排查指南 当实际执行过程中碰到困难时，请按照下面几个方面逐一核查原因所在： 1. 确认所有依赖项均已正确安装完毕； 2. 检查GPU资源是否充足以及驱动版本兼容情况； 3. 审视输入参数设置合理性，特别是对于连续型变量要给予适当范围约束； 4. 查阅官方文档获取最新更新信息或社区反馈意见。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ray.so

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值