（三）0. 深度生成模型-基于分数匹配的生成模型

已于 2023-09-29 16:28:08 修改
阅读量902 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 神经网络与深度学习 文章标签： 概率论 人工智能
于 2023-06-29 22:47:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40614311/article/details/131452110
本文探讨了深度生成模型，尤其是基于得分的生成建模，涉及分数匹配（去噪和切片）、朗之万动力学采样及其面临的挑战。通过噪声条件评分网络（NCSN）和退火朗之万动力学解决低密度区域的采样问题，提升样本质量和混合效率。

深度生成模型-基于得分的生成模型

1. 概述

1.1. 深度生成模型

假设我们已经有了 n n n个样本 { x i } 1 ≤ i ≤ n \{x_i\}_{1\leq i\leq n} { x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
（三）3. 深度生成模型-扩散模型(基于分数匹配的随机微分方程生成建模)
weixin_40614311的博客
06-21 1170
我们提出了一个随机微分方程（SDE），通过缓慢注入噪声，将复杂的数据分布平滑地转换为已知的先验分布，以及一个相应的反向时间SDE，通过缓慢去除噪声将先验分布转换回数据分布。反向时间SDE的生成取决于关于得分（即扰动数据分布的时间相关梯度场）的目标函数。通过利用基于得分（Score-Based）的生成建模方法，我们可以使用神经网络准确地估计这些分数，然后使用数值SDE解算器生成样本。该框架封装了和，产生新的采样过程和新的建模能力。在求解反向时间SDE中，
（三）1. 深度生成模型-扩散模型(非均衡热力学的深度无监督学习)
weixin_40614311的博客
09-30 2664
非均衡热力学的深度无监督学习
【理论推导】基于分数的生成模型Score-based Model
fnoi2014xtx的博客
03-29 2448
Score-based Models
Diffusion Models: A Comprehensive Survey of Methods and Applications
专注于AI领域前沿知识，业余爱好开发软件
12-10 1034
Diffusion Models: A Comprehensive Survey of Methods and Applications，综述阅读论文*9
论文笔记之Stein变分梯度下降
Ton的博客
07-12 4675
论文地址：点这里。作者还提供了变分梯度下降法的源码。 Note： 源码不涉及深度学习，所以PyTorch用户或者TF用户都可以使用。 变分梯度下降(SVGD)可以理解是一种和随机梯度下降(SGD)一样的优化算法。在强化学习算法中，Soft-Q-Learning使用了SVGD去优化，而Soft-AC选择了SGD去做优化。 Stein Variational Gradient Descent:A General Purpose Bayesian Inference AlgorithmAbstract1 Intr
3.基于分数的生成模型
m0_63860007的博客
10-02 1388
基于分数的生成模型(SGM)的核心是Stein分数(或分数函数)。给定一个概率密度函数p(x)，其分数函数定义为对数概率密度的梯度Vxlogp(x)。生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。
基于得分匹配(score-based)生成模型的损失函数
weixin_44012667的博客
12-07 1030
该损失函数旨在学习一个得分函数，该函数可以有效近似数据分布的梯度（得分）。这种方法在基于扩散模型的生成建模中非常常见。
扩散模型Diffusion model | 基于分数的生成模型
m0_62249876的博客
11-13 4945
现有的图像生成技术在很大程度上可以根据它们如何表示概率分布分为两类。基于似然的模型，通过（近似）最大似然直接学习分布的概率密度（或质量）函数。典型的基于似然的模型包括自回归模型、归一化流动模型、基于能量的模型（EBM） 和变分自编码器 （VAE）。隐式生成模型，其中概率分布由其采样过程的模型隐式表示。如生成对抗网络（GAN），其中通过用神经网络转换随机高斯向量来合成来自数据分布的新样本。
基于功能基团的3D分子生成扩散模型 - D3FG 评测
wufeil7的博客
06-07 1726
D3FG 是一个在口袋中基于功能团的3D分子生成扩散模型。与通常分子生成模型直接生成分子坐标和原子类型不同，D3FG 将分子分解为两类组成部分：官能团和连接体，然后使用扩散生成模型学习这些组成部分的类型和几何分布。D3FG 在AIDD场景下的实际应用能力如何？本文进行了测评，包括：环境安装、分子生成、生成分子的对接和过滤、结果可视化展示、运行报错等。
几何完备的3D分子生成/优化扩散模型 GCDM-SBDD - 评测
wufeil7的博客
10-13 3095
GCDM 来源于美国密苏里大学电气工程与计算机科学系的研究助理 Alex Morehead 为通讯作者的文章：《Geometry-complete diffusion for 3D molecule generation and optimization》。该文章于 2024 年 7 月 3 日发表在 《 communications chemistry 》上。近来，扩散模型和等变图神经网络（GNNs）经常被用于生成三维分子。
π0——用于通用机器人控制的VLA模型：一套框架控制7种机械臂(基于PaliGemma和流匹配的3B模型)
热门推荐
结构之法 算法之道
11-04 4万+
在此文之前，我花了一天半，详细解读了清华这个机器人扩散大模型RDT，包括其每一个附录，并在上文中预告说：​下一篇是一个3B的机器人大模型打通7种不同品牌的机械臂，这几个工作宣告机器人真正进入大模型时代故，本文来了。
（三）2. 深度生成模型-扩散模型(去噪扩散概率模型)
weixin_40614311的博客
10-06 1801
扩散概率模型是一个参数化的马尔可夫链，使用变分推理训练，在有限时间后产生与数据匹配的样本。这条链的转换被学习为逆转扩散过程，扩散过程是一个马尔可夫链，它逐渐向相反采样方向的数据增加噪声，直到信号被破坏。
（一）0. 十位院士对 AI 的深度把脉（转载）
weixin_40614311的博客
01-09 2451
2019 年 12 月 20 日，由鹏城实验室、新一代人工智能产业技术创新战略联盟主办的为期两天的「新一代人工智能院士高峰论坛」延续去年强大的院士阵容，邀请了多达 10 位院士以及诸多人工智能领域学术和企业界的顶级专家，从各自的领域深度剖析了人工智能领域的发展现状和未来值得探索的方向。
（四）1. 统计推断-贝叶斯方法（MCMC: 马尔可夫链蒙特卡罗模拟）
weixin_40614311的博客
02-06 1249
MCMC的起源与发展，马尔可夫链蒙特卡罗模拟
（四）7. 统计推断-ALMOND算法（基于神经网络与Langevin扩散的自适应潜变量建模与优化）
最新发布
weixin_40614311的博客
09-08 1174
本文提出ALMOND框架，通过深度神经网络构建隐式潜变量模型，解决传统参数化方法的局限性。创新点包括：1) 利用DNN将已知分布转换为灵活潜变量分布；2) 基于真实似然函数设计估计方法，保证收敛性；3) 系统性分析Langevin采样偏差并纳入优化过程。理论分析表明该方法适用于复杂模型和大规模数据，实验验证了其有效性。该框架为潜变量建模提供了新思路，减少了定制算法的需求。
（四）3. 统计推断-贝叶斯方法（动力系统的贝叶斯推理）
weixin_40614311的博客
03-09 1113
本文提出了一种利用贝叶斯推理进行动力系统参数估计的综合方法，包括利用不同分布的马尔可夫链蒙特卡罗(MCMC)获取参数的可信区间，以及解的预测区间。
（四）6. 统计推断-ALMOND算法（潜变量模型及其求解方法）
weixin_40614311的博客
08-21 994
这段内容表达了潜变量模型的一般框架，特别是在数据建模中如何通过潜变量来描述观察数据的生成过程：1．数据建模：每个数据点xix_ixi​由一个潜变量uiu_iui​来生成，其边际分布fxifxi​通过对潜变量进行积分得到。2．潜变量的作用：潜变量uiu_iui​帮助捕捉数据中的隐含结构或模式。3．推断问题：模型通常需要估计潜变量的后验分布，以及推断模型参数，这对很多实际问题非常重要。
（四）4. 统计推断-贝叶斯方法（金融网络系统风险评估的贝叶斯方法）
weixin_40614311的博客
02-16 974
构造遵循贝叶斯方法的个体负债模型。以观察到的总负债和总资产以及潜在的某些观察到的个体负债为条件，构造Gibbs采样器从该条件分布中生成样本。
（四）2. 统计推断-贝叶斯方法（MCMC前沿：深入论题）
weixin_40614311的博客
02-12 903
MCMC前沿
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吉星照MoMo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值