DDPM之反向传播

原创 已于 2024-01-09 19:39:00 修改 · 549 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法 #机器学习

于 2024-01-09 19:26:14 首次发布
本文探讨了如何通过条件概率，利用高斯分布模型，基于当前噪声状态和时间步估计，学习并最小化方差，以实现从噪声状态恢复到数据状态的反向过程，目标是最大程度地还原原始数据。
  • 反向过程：由噪声状态恢复到数据状态的过程
  • 这一过程可以用条件概率p(\mathbf{x}_{t-1}|\mathbf{x}_t)来描述
    • x_{t-1}是在时间步 t−1 想要恢复的数据状态。
    • x_{t} 是在时间步 t 的当前噪声状态。
    • 条件概率 p 服从高斯分布：p(\mathbf{x}_{t-1}|\mathbf{x}_t)=\mathcal{N}(\mathbf{x}_{t-1};\mu(\mathbf{x}_t,t),\sigma_t^2\mathbf{I})
  •  条件概率p(\mathbf{x}_{t-1}|\mathbf{x}_t)=\mathcal{N}(\mathbf{x}_{t-1};\mu(\mathbf{x}_t,t),\sigma_t^2\mathbf{I})
    • \mu(\mathbf{x}_t,t) 是模型根据当前噪声状态 xt​ 和时间步 t 估计的均值
    • \sigma_t^2是估计的方差
    • \mu(\mathbf{x}_t,t)和\sigma_t^2是由模型学习得到的，目的是最大程度地还原出原始数据。

SmartDemo
关注
DDP算法之反向传播（Backward Pass）
xiaoc100200的博客
06-19 303
在DDP（Differential Dynamic Programming）算法中，反向传播（Backward Pass）是关键步骤之一。这个步骤的主要目的是通过动态规划递归地计算每个时间步上的值函数和控制策略，以便在前向传播（Forward Pass）中使用。
构建DDPM模型：实现手写数字生成
AI天才研究院
05-13 1002
图像生成技术近年来取得了飞速的发展，从早期的像素级操作到如今的深度生成模型，技术不断革新，生成的图像也越来越逼真。早期的图像生成方法主要依赖于手工设计的规则和特征，例如，基于规则的纹理合成、基于特征的图像变形等。这些方法通常需要大量的领域知识和人工调整，难以生成高质量的图像。随着模型架构和训练技术的改进，DDPM能够生成更高质量的图像。DDPM将提供更灵活的控制机制，允许用户更精确地调整生成图像的属性。DDPM将被应用于更广泛的领域，例如，视频生成、3D模型生成等。
扩散模型（二）——DDPM详解
金陵城中夜将沉的博客
08-05 2253
本文详细解析了扩散模型（DDPM）的训练与采样算法及其数学原理。DDPM通过前向加噪过程将图像逐步转化为噪声，再通过反向去噪过程学习从噪声还原图像。核心在于：1）前向过程利用重参数化技巧直接计算任意时间步的噪声分布；2）反向过程通过变分推断和KL散度优化，将问题转化为噪声预测任务；3）采用简化的MSE损失训练网络预测噪声。最终通过从纯噪声逐步去噪生成高质量图像。该方法理论严谨且实现高效，成为当前主流的生成模型范式之一。
DDPM是如何训练和测试的
weixin_50911055的博客
11-29 1080
DDPM起初是做图像生成的，后来又衍生了许多了其他的应用，刚开始看的时候容易迷糊DDPM训练难道得一步步加噪并且记住每一步的噪声吗，其实不是，训练过程得到。,而这个噪声也是Unet网络需要预测的结果对应的GT。训练和测试过程可以参考。
『扩散模型』一篇文章入门DDPM
julac的博客
10-25 1055
文章目录扩散模型DDPMHow Do Diffusion-Based Image Generation Models Work?The Need For Generative ModelsBayesian InferenceWhat Are Diffusion Probabilistic Models?Itsy-Bitsy Mathematical Details Behind Denoising Diffusion Probabilistic ModelsMathematical Details Of T
扩散模型奠基之作：DDPM
SmartDemo的博客
01-09 597
DDPM分为两个部分，设计两个不同的概率分布1、前向过程（扩散）：这一过程可以用条件概率 q(xt​∣xt−1​) 来描述2、反向过程（去噪）：这一过程可以用条件概率 p(xt−1​∣xt​) 来描述。
DIFFUSION（扩散模型基石—DDPM）
weixin_48136514的博客
06-26 3235
扩散模型（Diffusion Model）是一类十分先进的基于扩散思想的深度学习生成模型。生成模型除了扩散模型之外，还有出现较早的VAE（Varitational Auto-Encoder，变分自编码器）和GAN（Generative Adversarial Net， 生成对抗网络）等，他运用物理热力学中的扩散思想，主要包括前向扩散和反向扩散两个过程。
扩散模型DDPM
disciplining的博客
03-16 747
DDPM是Denoising(去噪) Diffusion Probabilistic Mode的缩写我们首先定义一个前向传播过程,给定一张原始的图x0 我们通过梯次加噪 每一次往图片中加入一些噪点 经过T此之后 可以得到一张噪声 我们设想 是否有一个反向传播的过程 能够从噪声恢复到原图 如下Denoising指的就是反向传播一个逐步去噪的过程Diffusion指的是每张图片逐步进行去噪过程 不是一步到位直接去噪成原图的。
DDPM的理解
qq_54991537的博客
01-08 718
Diffusion Model是生成模型的一个类，所以他也是包含encoder和decoder两个阶段。他把encoder改名成前向扩散过程，他把decoder改名成反向生成过程。前向扩散过程就是在观测数据中逐步加入噪声，知道观察数据变成高斯分布。反向生成过程就是从一个高斯分布中采样，逐步消除噪声，直到变成清晰的过程。首先DDPM它是一类生成模型，它的输入是标准的高斯噪声，它的输入是图片，DDPM是稳定的并且易训练的DDPM生成过程不是一步到位的，他需要迭代的耗时。
手撕Diffusion系列 - 第一期 - DDPM原理
m0_62030579的博客
01-19 2448
手撕Diffusion系列-第一期-DDPM原理
扩散模型(diffusion model) （DDPM）处理表格数据的项目案例
05-22
在训练过程中，模型通过反向传播算法更新权重，以最小化噪声去除过程的误差。标签"生成模型"表明我们的目标是让模型能够生成新的、有意义的表格数据。在生成阶段，模型会根据学习到的数据分布，通过噪声注入和逆扩散...
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 213
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 337
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 567
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 219
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1798
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 486
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 236
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 698
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
Ddpm
07-17
### DDPM 技术原理 DDPM（Denoising Diffusion Probabilistic Models）是一种基于扩散过程的概率生成模型。... # 反向传播与优化 optimizer.zero_grad() loss.backward() optimizer.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值