AIGC实战——归一化流模型(Normalizing Flow Model)

已于 2025-04-07 11:23:09 修改
阅读量7.2k 收藏 89
点赞数 70
分类专栏： 生成式人工智能从入门到实战 文章标签： AIGC 深度学习 生成模型
于 2024-02-05 08:13:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LOVEmy134611/article/details/135984457
版权
本文介绍了归一化流模型（Normalizing Flow Model），这是一种用于生成建模的新型技术，它通过可逆变换直接建模数据的概率分布。文章深入探讨了基本原理，如变量变换、雅可比行列式和RealNVP模型，还提到了其他如GLOW和FFJORD等先进模型，展示了归一化流模型在处理复杂数据分布上的强大能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

AIGC实战——归一化流模型

0. 前言

我们已经学习了三类生成模型：变分自动编码器 (Variational Autoencoder, VAE)、生成对抗网络 (Generative Adversarial Network, GAN) 和自回归模型 (Autoregressive Model)。每种模型都使用不同的方式对分布 p ( x ) p(x)

了解本专栏 订阅专栏 解锁全文
AIGC实战——生成模型简介
盼小辉丶的博客
08-29 8万+
生成式人工智能是一种人工智能方法，旨在通过学习训练数据的分布模型来生成新的、原创的数据。人工智能生成内容 (Artificial Intelligence Generated Content, AIGC) 是生成式人工智能的一个具体应用和实现方式，是指利用人工智能技术生成各种形式的内容，如文字、图像、音频和视频等。本节将介绍生成模型基本概念，首先介绍生成模型的基本概念，然后，构建用于衡量生成模型性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的生成模型技术及其分类。
AIGC实战——自回归模型(Autoregressive Model)
盼小辉丶的博客
01-05 7365
自回归模型 (Autoregressive Model) 通过将生成问题视为一个序列过程来简化生成模型。自回归模型将预测条件建立在序列中的先前值上，而不是一个以随机潜变量为条件。因此，自回归模型尝试对数据生成分布进行显式建模，而不是尝试近似数据分布。在本节中，将介绍一类经典的自回归模型，长短期记忆网络 (Long Short-Term Memory Network, LSTM)，并将 LSTM 应用于生成文本数据。
6.将扩散模型与其他生成模型的关联(2)
m0_63860007的博客
10-12 835
(x|x~)是通过恢复似然训练的，即在给定高噪声样本后，使用低噪声数据x的条件似然值作为目标函数，其目的是在给定更高噪声的噪声数据的情况下，最大化特定低噪声水平下数据的条件概率。条件EBM可以较好地最大化恢复似然，这是因为原数据的分布可能是多模态的，而在给定加噪样本后，原数据的条件概率会比原数据的边际似更容易处理。同时 Gao 等人还证明了,当每次加入的噪声强度足够小时,扩散恢复似然的最大似然训练与 ScoreSDE的分数匹配训练是近似的，并进一步建立了基于能量的模型与扩散模型的关系。
机器学习笔记之流形模型——标准流模型基本介绍
静静的学习就好
02-28 1215
本节将介绍概率生成模型——标准流模型(Normalizing Flow)。
【人工智能数学基础】——归一化流解密：从概率密度变换到生成模型的微分同胚革命
最新发布
Conan_0728的博客
04-16 1126
雕塑家用黏土塑造千变形态，归一化流通过可逆变换重塑概率分布。这个融合微分几何与深度学习的生成模型，以"体积保持变换"的哲学重新定义了数据分布的建模方式。本文将带您深入雅可比行列式的数学核心，用代码重现概率密度的流动奇迹，揭示如何通过可逆网络架构在数据空间中实现精准导航。从分子动力学到金融风险建模，归一化流用可逆变换的语言重新定义了概率建模的边界。当您理解每个雅可比行列式都是体积的守护者，每次流变换都是空间的优雅舞蹈，就能在复杂分布的迷雾中找到导航的星图。
Normalizing flow 流模型 | CS236深度生成模型Lec8学习笔记
DB20250219的博客
02-24 941
这篇blog基本上是CS236 Lec8的刷课总结/刷课笔记。
归一化流模型
darren_ying0803的博客
06-18 689
然而，由于潜在变量上的相关边际分布难以实现，它们的训练、评估和抽样程序需要使用诸如平均场推理和马尔可夫链蒙特卡罗等近似方法，这些复杂模型的收敛时间仍然不确定，往往导致产生高度相关的样本。然而，衡量生成样本中多样性的指标是目前是难以处理的。我们使用实值非体积保存（real NVP）转换，结果得到了一个具有精确对数似然计算的，精确有效的抽样，潜在变量的推断，以及可解释的潜在空间的无监督学习算法。由于感兴趣的数据通常是高维的和高度结构化的，在这个领域的挑战是建立足够强大的模型，以捕获其复杂性，但仍然是可训练的。
归一化流总结
qq_60609496的博客
05-19 1073
归一化流总结
（pytorch进阶之路）NormalizingFlow标准流
qq_19841133的博客
09-16 5119
NF和GAN一样是一个生成模型，NF与GAN不同的是，GAN是以模糊的方式对目标数据分布进行建模， 没有直接写出px的表达式，而是将x送入下游的判别器做分类任务，通过对抗的方式让生成器生成比较好的效果而标准流NF可以显式地将目标的表达式px写出来，通过优化对数似然函数达到最大去调整参数，使得模型很好的拟合目标分布标准流模型是一个可逆的模型，也就是训练的时候，是从x到z的变化过程，最大化似然函数，推理时候就反过来使用，以一个随机变量z作为输入，把网络完全逆过来，计算反函数，算出x。
AIGC实战——能量模型(Energy-Based Model)
盼小辉丶的博客
02-18 7916
能量模型 (Energy-based Model, EBM) 是一类常见的生成模型，其借鉴了物理系统建模的一个关键思想，即事件的概率可以用玻尔兹曼分布来表示。玻尔兹曼分布是一种将实值能量函数归一化到 0 和 1 之间的函数，该分布最早由 Ludwig Boltzmann 于 1868 年提出，用于描述处于热平衡状态的气体系统。在本节中，我们将利用这一思想来训练一个生成模型，用于生成 MNIST 手写数字的图像。
AIGC实战——扩散模型(Diffusion Model)
盼小辉丶的博客
02-26 9158
本节介绍了最近最先进的生成模型之一，扩散模型。介绍了去噪扩散概率模型 (Denoising Diffusion Probabilistic Model, DDPM)，并利用去噪扩散隐式模型 (Denoising Diffusion Implicit Model, DDIM) 的思想，使生成过程具备完全的确定性。扩散模型由前向扩散过程和逆扩散过程组成，前向扩散过程通过一系列小步骤向训练数据添加噪声，而逆扩散过程中模型的目标是预测添加的噪声。
NeuralWavelet:论文“通过归一化流学习非线性小波变换”的实现（arXiv
05-25
神经小波流 此存储库为论文通过归一化流学习非线性小波变换（ ）提供了原始代码。 在查看实现的。 介绍 小波变换是现代数据分析和信号处理的基石。 它的数学本质是可逆变换，可以在频域中识别慢速模式与快速模式，并在每个级别上重复进行。 这样的可逆变换可以通过设计的归一化流模型来学习。 通过类似于小波降采样机制的分解因子方案，相互独立的先验值以及沿网络深度的参数共享，可以训练归一化流模型以分解出与不同级别的快速模式相对应的变量，从而扩展线性小波转换为非线性可学习模型。 在这项工作中，给出了建立这种流程的具体方法。 然后，演示该模型在无损压缩任务，渐进式加载和超分辨率（上采样）任务中的能力。 最后，从低通/高通滤波器的角度对学习模型进行了分析。 结果 小波变换图 图1.学习的小波变换的两次迭代，对每个通道进行归一化以进行可视化。 在ImageNet64数据集上训练该转换，并在Lena图像（512×
Julia 中无穷小连续归一化流算法的实现_julia_代码_下载
06-09
Julia 中无穷小连续归一化流算法的实现
生成式深度学习(第二版)-译文-第六章-归一化流模型
GarryWang1248的博客
11-09 1875
我们将以一则短故事开始，来展现归一化流背后的关键概念。JACOB 和 THE F.L.O.W. 机器访问一个小乡村后，你注意到一个看起来颇为神秘的商店，门上的标识写到 JACOB’s。好奇的，你小心翼翼的进入，并问站在柜台的老人他有些什么东西可以售卖(图6-1)。老人回复到，它提供了一个服务，可以数字化画作。在商店后面搜索了一阵之后，他拿出了一个银盒，上有浮雕字母 F.L.O.W.。他告诉你这代表 Finding Likeness of Watercolors，这大概描述了机器做的事情。
CVPR 2023 | 浙大提出全归一化流模型PyramidFlow：高分辨率缺陷异常定位新范式
Paper weekly
03-13 2041
©作者 |博学的咖喱酱不鸣则已，一鸣惊人！浙江大学光电学院提出全归一化流模型——PyramidFlow，它将潜在模板对比的思想融入最先进的归一化流技术，提出金字塔耦合块 (Pyramid Block) 和体积归一化策略 (Volume Normalization)，首次实现了高分辨的缺陷异常定位。一句话：提出了首个不依赖于预训练模型的全归一化流方法，专为高分辨率的缺陷异常定位设计。论文标题：Py...
使用Pytorch从零开始构建Normalizing Flow
GarryWang1248的博客
11-26 3641
归一化流 (Normalizing Flow) （Rezende & Mohamed，2015）学习可逆映射fX→Z, 在这里X是我们的数据分布Z选定的潜在分布。归一化流是生成模型家族的一部分，其中包括变分自动编码器 (VAE) (Kingma & Welling, 2013)和生成对抗网络 (GAN) (Goodfellow 等人, 2014)。一旦我们学会了映射F，我们通过采样生成数据zpZ​, 然后应用逆变换,F−1zXGen​。
【深度学习】介绍Normalizing Flows及其两种方法——MAF和RealNVP，介绍了深度学习生成模型的基本概念、术语及符号说明，并给出了该方法的原理和操作步骤
AI天才研究院
08-13 764
概率生成模型（probabilistic generative model）是一个非常重要的统计工具，可以用于表示潜在数据生成分布、进行推断、进行采样、评估训练质量等。其目标是对未观察到的样本变量进行建模，并能够通过这些变量生成具有真实分布的新样本。从某种意义上说，所谓的生成模型就是一个模型，它可以根据给定的条件生成相应的数据。但是与传统的判别式模型不同，生成模型不能直接预测输出变量的取值，只能生成可观测的数据分布。
归一化Normalization（可以理解将数据标准化）
weixin_47414034的博客
07-14 529
求出一组数据的均值和方差，使用求出来的均值和方差对这组数据进行归一化（标准化），使得均值为0，方差为1假设一个输入数据集一列的数据，其值范围为0到10，另一列的值范围为100,000到10,00,000建模时将这些值作为特征组合时，最终会出现误差通过归一化，创建新的数值来保持这两列呈现类似的分布，比如正态分布。常见的归一化方法有：Batch Normalization(BN)，Layer Normalization(LN)BN就是在N（图片数量）上做归一化（纵向规范化） LN是在C（通道数）上做归一化（横向
归一化 （Normalization）、标准化 （Standardization）和中心/零均值化 （Zero-centered）
热门推荐
ytusdc的博客
12-31 14万+
b、梯度：以输入-隐层-输出这样的三层BP为例，我们知道对于输入-隐层权值的梯度有2ew(1-a^2)*x的形式（e是误差，w是隐层到输出层的权重，a是隐层神经元的值，x是输入），若果输出层的数量级很大，会引起e的数量级很大，同理，w为了将隐层（数量级为1）映身到输出层，w也会很大，再加上x也很大的话，从梯度公式可以看出，三者相乘，梯度就非常大了。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。中心化，也叫零均值处理，就是将每个原始数据减去这些数据的均值。
评论 90
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值