【生成模型之十】Scalable Diffusion Models with Transformers

原创 已于 2024-12-31 14:12:17 修改 · 939 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DiT #stable diffusion #扩散模型 #AIGC

于 2024-12-26 21:20:07 首次发布
最低0.47元/天 解锁文章
DiT代码详细解析——Scalable Diffusion Models with Transformers
wsygxxn的博客
04-08 1497
ICCV 2023 (Oral) DIT：Scalable Diffusion Models with Transformers，替换处理latent patches的U-Net backbone。本文作者发现，通过增加Transformer深度/宽度或增加输入令牌数量，具有较高Gflops的DiT始终具有较低的FID。除了具有良好的可扩展性外，最大的DiT-XL/2模型在条件类ImageNet 512×512和256×256基准测试中的表现优于所有先前的扩散模型，在后者上实现了2.27的最先进FID。
Scalable Diffusion Models with Transformers(DIT)代码笔记
Qiming的博客
08-03 1010
DiT代码笔记
[读论文][code运行教程]DiT Scalable Diffusion Models with Transformers
计算机视觉
11-16 3787
如果您使用train.py(见下文)训练了一个新的DiT模型，那么您可以添加——ckpt参数来使用您自己的检查点。例如，要从自定义256x256 DiT-L/4型号的EMA权重。
DiT (Scalable Diffusion Models with Transformers) 论文学习笔记
hjhr2018的博客
07-15 1294
在这个函数中，labels参数表示输入的标签，force_drop_ids用于指定哪些标签需要被强制丢弃，dropout_prob表示丢弃的概率，函数使用 torch.where函数根据 drop_ids是否=1将需要丢弃的标签替换为 self.num_classes，此时共有num_classes+1个类别。在训练过程中以一定概率令条件编码=空，得到条件生成和无条件生成的输出，再将其线性组合作为最终的输出。最后，我们将解码后的标记重新排列为其原始空间布局，以获得预测的噪声和协方差。位置编码：梯度不更新。
bubbliiiiing概述、原理及应用.pdf
03-28
“Bubbliiiing”可能是一个基于深度学习的图像处理技术或系统，它可能是在YOLOv4（You Only Look Once version 4）目标检测算法的基础上进行的改进或优化。YOLOv4是一种实时目标检测算法，它结合了多种技巧和方法，旨在提高检测精度和速度。而“Bubbliiiing”可能进一步提升了这些性能，或者在某些特定应用场景下进行了优化。
论文阅读：Scalable Diffusion Models with Transformers
huzimu_的博客
03-07 3159
Stable Diffusion 3的技术论文。该论文提出了Diffusion Transformers （DiTs)，其相较于基于U-Net的LDM等扩散模型有着更为优异的性能。
【论文阅读】Scalable Diffusion Models with Transformers
weixin_57974242的博客
03-18 846
DiT：基于transformer架构的扩散模型。
【扩散模型】论文精读：Scalable Diffusion Models with Transformers（DiT）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-21 1856
论文题目：Scalable Diffusion Models with Transformers —— VLOGGER：具身化身合成的多模态扩散纯Transformer的扩散模型！研究扩散模型必读文章！我们基于变压器架构探索了一类新的扩散模型。我们训练图像的潜在扩散模型，用对潜在补丁进行操作的转换器替换常用的 U-Net 主干。我们通过 Gflops 测量的前向传递复杂度透镜来分析我们的扩散变换器 (DiTs) 的可扩展性。
Scalable Diffusion Models with Transformers
weixin_44994838的博客
06-05 927
I∈RH×W×3z∈R8H​×8W​×4T×ddTpγβγβαα。
YOLOv3-PyTorch 深度学习目标检测框架教程
gitblog_00633的博客
11-21 500
本教程将指导您了解 `bubbliiiing/yolo3-pytorch` 项目的目录结构、启动文件以及配置文件。这是一个基于 PyTorch 实现的 YOLOv3 目标检测框架。 ## 1. 项目目录结构及介绍 项目的目录结构如下： ``` ├── data # 存放数据集相关文件 │ ├── coco # COCO 数据集 │ └
[OpenVINO实战] 在边缘设备上运行Stable Diffusion，实现离线文生图
LCG米的博客
12-03 556
本文介绍了基于OpenVINO工具包在边缘设备上优化部署Stable Diffusion模型的技术方案。主要内容包括：1) Stable Diffusion原理及其潜在扩散模型架构；2) OpenVINO工具包的功能特点及边缘计算优势；3) 详细的硬件配置要求（推荐32GB内存）和软件环境搭建步骤；4) 模型转换流程，包括从PyTorch到ONNX格式的转换方法。文章提供了完整的安装脚本、依赖清单和模型转换代码，帮助开发者在资源受限的边缘设备上实现高效的AI图像生成。
快速部署 stable-diffusion-xl-base-1.0（SDXL）
m0_74247978的博客
12-03 348
快速部署文生图模型SD-xl-base-1.0
【笔记】解决 Stable Diffusion WebUI 启动 “找不到llama_cpp模块”
love530love的博客
11-30 871
【摘要】本文针对Stable Diffusion WebUI启动时出现的"找不到llama_cpp模块"问题，提供了两种解决方案：1）快速救急方案，通过预编译的wheel文件安装llama-cpp-python模块（支持CPU/CUDA不同版本）；2）彻底解决方案，安装VS2022编译工具后本地重新编译安装。文章还总结了常见问题排查方法，包括Git路径配置、版本冲突处理及DLL加载错误等。最后强调验证安装成功的标准是能正常执行"from llama_cpp import Lla
【实践指南】Windows 下 Stable Diffusion WebUI 与 ComfyUI 模型库“完美共存”指南
love530love的博客
12-01 1080
本文提供了一种在Windows系统下实现StableDiffusionWebUI与ComfyUI模型库完美共存的解决方案。通过使用Windows的mklink命令创建目录联接，将ComfyUI作为主模型库，WebUI作为挂载点，实现模型双向同步且零空间占用。该方法避免了修改配置文件带来的兼容性问题，支持核心模型（Checkpoint/LoRA/VAE）和进阶资源（ControlNet/Embedding/Upscaler）的共享。文中详细说明了操作步骤、使用说明、维护方法，并对比分析了不同方案的可行性。该方
Stable Diffusion aki v4下载
蜜獾互联网
12-03 166
秋葉aaaki发布StableDiffusion整合包v4版，提供百度网盘和夸克网盘下载链接。该整合包支持一键本地部署，适合AI绘画新手使用。安装时需先下载启动器依赖，解压主文件夹后运行A启动器程序，点击"一键启动"即可打开StableDiffusion操作界面，输入提示词即可生成AI绘画作品。整合包内包含多种模型可供选择下载，首次启动约需等待10秒左右。
rtx5060部署stable-diffusion1.10.1版本注意事项
最新发布
极客栈
12-04 131
注意：使用的是webui.bat而不是webui-user.bat。虽然我设置了很多参数，但是最终执行webui-user.bat发生了很多的错误。2.进入环境之后再执行安装组件torch torchvision torchaudio，这个安装会自动安装正确的版本。尽量不要自行安装版本。先找到配置文件：E:\stableDiffusion\stable-diffusion-webui\webui-user.bat。6.千万注意网络，需要使用正确的网络才行，不能启用其他的软件的局域网网络，会造成网络混杂。
【笔记】重建 Stable Diffusion WebUI 虚拟环境实录
love530love的博客
11-30 999
本文记录了在Windows+Conda环境下重建Stable Diffusion WebUI虚拟环境的完整过程。主要解决项目迁移后出现的"假激活"问题，即虚拟环境显示激活但实际依赖安装到全局环境的情况。通过删除旧环境、新建虚拟环境、验证真激活状态、升级基础工具链、安装PyTorch CUDA版本、批量恢复依赖等步骤，最终成功重建环境并验证运行效果。文中提供了详细的分步命令和关键截图，特别强调了EPGF架构在多版本Python管理中的优势，为类似环境重建提供了可复用的操作指南。
Diff-MTS: Temporal-Augmented ConditionalDiffusion-Based AIGC
weixin_48372662的博客
12-01 1452
本文提出Diff-MTS模型解决工业多变量时间序列(MTS)数据生成难题。针对现有VAEs和GANs方法在真实性、训练稳定性及条件一致性方面的不足，创新性地结合扩散模型与条件自适应机制。核心贡献包括：(1)采用余弦噪声调度改进DDPM，保留更多时序信息；(2)设计Ada-MMD机制实现无分类器的条件对齐；(3)开发TDR-UNet网络，通过时序分解和注意力机制捕捉复杂依赖关系。实验表明，该模型能稳定生成高质量工业MTS数据，显著优于现有方法，为工业智能发展提供了有效数据支撑。
矢量生成模型：探索艺术与设计的新表达
矢量生成模型：字体设计与图形设计的新工具 随着深度学习和生成模型技术的飞速发展，人工智能已经在图像生成领域取得了显著的进步，比如生成逼真的人脸、动物和自然场景。然而，这些模型虽然能够产生高分辨率的照片...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jeremy-Sky

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值