AIGC实战——归一化流模型(Normalizing Flow Model)

已于 2025-04-07 11:23:09 修改
阅读量1w 收藏 97
点赞数 77
CC 4.0 BY-SA版权
分类专栏： 生成式人工智能从入门到实战 文章标签： AIGC 深度学习 生成模型
于 2024-02-05 08:13:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LOVEmy134611/article/details/135984457
本文介绍了归一化流模型（Normalizing Flow Model），这是一种用于生成建模的新型技术，它通过可逆变换直接建模数据的概率分布。文章深入探讨了基本原理，如变量变换、雅可比行列式和RealNVP模型，还提到了其他如GLOW和FFJORD等先进模型，展示了归一化流模型在处理复杂数据分布上的强大能力。

AIGC实战——归一化流模型

0. 前言

我们已经学习了三类生成模型：变分自动编码器 (Variational Autoencoder, VAE)、生成对抗网络 (Generative Adversarial Network, GAN) 和自回归模型 (Autoregressive Model)。每种模型都使用不同的方式对分布 p ( x ) p(x) p(x) 进行建模，其中 <

了解本专栏 订阅专栏 解锁全文
AIGC实战——生成模型简介
盼小辉丶的博客
08-29 9万+
生成式人工智能是一种人工智能方法，旨在通过学习训练数据的分布模型来生成新的、原创的数据。人工智能生成内容 (Artificial Intelligence Generated Content, AIGC) 是生成式人工智能的一个具体应用和实现方式，是指利用人工智能技术生成各种形式的内容，如文字、图像、音频和视频等。本节将介绍生成模型基本概念，首先介绍生成模型的基本概念，然后，构建用于衡量生成模型性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的生成模型技术及其分类。
生成式深度学习(第二版)-译文-第六章-归一化流模型
GarryWang1248的博客
11-09 2418
我们将以一则短故事开始，来展现归一化流背后的关键概念。JACOB 和 THE F.L.O.W. 机器访问一个小乡村后，你注意到一个看起来颇为神秘的商店，门上的标识写到 JACOB’s。好奇的，你小心翼翼的进入，并问站在柜台的老人他有些什么东西可以售卖(图6-1)。老人回复到，它提供了一个服务，可以数字化画作。在商店后面搜索了一阵之后，他拿出了一个银盒，上有浮雕字母 F.L.O.W.。他告诉你这代表 Finding Likeness of Watercolors，这大概描述了机器做的事情。
归一化流和非归一化概率模型
最新发布
weixin_44012667的博客
10-14 459
非归一化模型（EBM）就像一个雕塑家。他心中有一个完美的雕塑（数据分布），他通过不断地凿去不符合想象的部分（高能量区域）来塑造它。但他不知道最终雕塑的确切重量（归一化常数），只能通过感觉（近似方法）来调整。归一化流就像一个魔术师。他手里有一团已知形状的橡皮泥（简单分布），通过一系列精心设计的、可逆的折叠和拉伸动作（可逆变换），把它变成了一个复杂的形状（目标分布）。因为他记录了每一个动作（雅可比行列式），所以他总能说出新形状上任何一点的“厚度”是多少（概率密度）。
归一化流模型
darren_ying0803的博客
06-18 752
然而，由于潜在变量上的相关边际分布难以实现，它们的训练、评估和抽样程序需要使用诸如平均场推理和马尔可夫链蒙特卡罗等近似方法，这些复杂模型的收敛时间仍然不确定，往往导致产生高度相关的样本。然而，衡量生成样本中多样性的指标是目前是难以处理的。我们使用实值非体积保存（real NVP）转换，结果得到了一个具有精确对数似然计算的，精确有效的抽样，潜在变量的推断，以及可解释的潜在空间的无监督学习算法。由于感兴趣的数据通常是高维的和高度结构化的，在这个领域的挑战是建立足够强大的模型，以捕获其复杂性，但仍然是可训练的。
paper： Low-Light Image Enhancement with Normalizing Flow
qq_46401672的博客
05-20 1043
Low-Light Image Enhancement with Normalizing Flow 归一化流：是一个简单的概率分布（例如，一个标准的正态分布）通过一个可逆的和可微的映射的序列转换为一个更复杂的分布。同时，通过将一个样本的概率密度函数转换回简单的分布，可以精确地得到其概率密度函数(PDF)值。 现在广泛使用的损失函数存在的问题 L1,L2损失类似的这种像素级损失不能对不同情况下的局部结构提供有效的正则化。 由于对图像分布的像素级损失的简化假设，这些损失可能无法描述真实的视觉距离在图像流形中
【AI】深度学习在编码中的应用（3）
giszz的博客
01-20 1215
接上，本文重点梳理基础架构设计相关的知识。
Normalizing flow 流模型 | CS236深度生成模型Lec8学习笔记
DB20250219的博客
02-24 1153
这篇blog基本上是CS236 Lec8的刷课总结/刷课笔记。
PyTorch生成式人工智能（21）——归一化流模型(Normalizing Flow Model)
盼小辉丶的博客
07-30 3074
归一化流模型是由神经网络定义的可逆函数，通过变量变换，直接对数据密度函数进行建模。在一般情况下，变量变换方程需要计算高度复杂的雅可比行列式，但这并不实际。为了解决这一问题，RealNVP 模型限制了神经网络的形式，使其满足两个基本条件：可逆性和易于计算的雅可比行列式。通过 PyTorch 使用 Two Moons 数据集训练 RealNVP 模型，成功将数据转换为高斯分布并生成高质量样本。
AIGC实战——能量模型(Energy-Based Model)
盼小辉丶的博客
02-18 1万+
能量模型 (Energy-based Model, EBM) 是一类常见的生成模型，其借鉴了物理系统建模的一个关键思想，即事件的概率可以用玻尔兹曼分布来表示。玻尔兹曼分布是一种将实值能量函数归一化到 0 和 1 之间的函数，该分布最早由 Ludwig Boltzmann 于 1868 年提出，用于描述处于热平衡状态的气体系统。在本节中，我们将利用这一思想来训练一个生成模型，用于生成 MNIST 手写数字的图像。
AIGC实战——扩散模型(Diffusion Model)
热门推荐
盼小辉丶的博客
02-26 1万+
本节介绍了最近最先进的生成模型之一，扩散模型。介绍了去噪扩散概率模型 (Denoising Diffusion Probabilistic Model, DDPM)，并利用去噪扩散隐式模型 (Denoising Diffusion Implicit Model, DDIM) 的思想，使生成过程具备完全的确定性。扩散模型由前向扩散过程和逆扩散过程组成，前向扩散过程通过一系列小步骤向训练数据添加噪声，而逆扩散过程中模型的目标是预测添加的噪声。
NeuralWavelet:论文“通过归一化流学习非线性小波变换”的实现（arXiv
05-25
神经小波流 此存储库为论文通过归一化流学习非线性小波变换（ ）提供了原始代码。 在查看实现的。 介绍 小波变换是现代数据分析和信号处理的基石。 它的数学本质是可逆变换，可以在频域中识别慢速模式与快速模式，并在每个级别上重复进行。 这样的可逆变换可以通过设计的归一化流模型来学习。 通过类似于小波降采样机制的分解因子方案，相互独立的先验值以及沿网络深度的参数共享，可以训练归一化流模型以分解出与不同级别的快速模式相对应的变量，从而扩展线性小波转换为非线性可学习模型。 在这项工作中，给出了建立这种流程的具体方法。 然后，演示该模型在无损压缩任务，渐进式加载和超分辨率（上采样）任务中的能力。 最后，从低通/高通滤波器的角度对学习模型进行了分析。 结果 小波变换图 图1.学习的小波变换的两次迭代，对每个通道进行归一化以进行可视化。 在ImageNet64数据集上训练该转换，并在Lena图像（512×
Julia 中无穷小连续归一化流算法的实现_julia_代码_下载
06-09
Julia 中无穷小连续归一化流算法的实现
生成模型实战 | 归一化流模型（Normalizing Flow Model）
盼小辉丶的博客
07-19 3473
归一化流模型是由神经网络定义的可逆函数，通过变量变换，直接对数据密度函数进行建模。在一般情况下，变量变换方程需要计算高度复杂的雅可比行列式，但这并不实际。为了解决这一问题，RealNVP 模型限制了神经网络的形式，使其满足两个基本条件：可逆性和易于计算的雅可比行列式。
归一化流总结
qq_60609496的博客
05-19 1185
归一化流总结
CVPR 2023 | 浙大提出全归一化流模型PyramidFlow：高分辨率缺陷异常定位新范式
Paper weekly
03-13 2225
©作者 |博学的咖喱酱不鸣则已，一鸣惊人！浙江大学光电学院提出全归一化流模型——PyramidFlow，它将潜在模板对比的思想融入最先进的归一化流技术，提出金字塔耦合块 (Pyramid Block) 和体积归一化策略 (Volume Normalization)，首次实现了高分辨的缺陷异常定位。一句话：提出了首个不依赖于预训练模型的全归一化流方法，专为高分辨率的缺陷异常定位设计。论文标题：Py...
（pytorch进阶之路）NormalizingFlow标准流
qq_19841133的博客
09-16 5592
NF和GAN一样是一个生成模型，NF与GAN不同的是，GAN是以模糊的方式对目标数据分布进行建模， 没有直接写出px的表达式，而是将x送入下游的判别器做分类任务，通过对抗的方式让生成器生成比较好的效果而标准流NF可以显式地将目标的表达式px写出来，通过优化对数似然函数达到最大去调整参数，使得模型很好的拟合目标分布标准流模型是一个可逆的模型，也就是训练的时候，是从x到z的变化过程，最大化似然函数，推理时候就反过来使用，以一个随机变量z作为输入，把网络完全逆过来，计算反函数，算出x。
使用Pytorch从零开始构建Normalizing Flow
GarryWang1248的博客
11-26 4405
归一化流 (Normalizing Flow) （Rezende & Mohamed，2015）学习可逆映射fX→Z, 在这里X是我们的数据分布Z选定的潜在分布。归一化流是生成模型家族的一部分，其中包括变分自动编码器 (VAE) (Kingma & Welling, 2013)和生成对抗网络 (GAN) (Goodfellow 等人, 2014)。一旦我们学会了映射F，我们通过采样生成数据zpZ​, 然后应用逆变换,F−1zXGen​。
机器学习笔记之流形模型——标准流模型基本介绍
静静的学习就好
02-28 1325
本节将介绍概率生成模型——标准流模型(Normalizing Flow)。
normalizing flow python库实现
09-11
在Python中，有几个常用的库可以用来实现归一化流（normalizing flow），以下介绍使用`torch`和`nflows`库实现归一化流的方法。 ### 使用`torch`库实现简单的归一化流 `torch`是一个强大的深度学习库，可以用来构建自定义的归一化流模型。以下是一个简单的示例，展示了如何使用`torch`实现一个简单的平面流（Planar Flow）： ```python import torch import torch.nn as nn # 定义平面流层 class PlanarFlow(nn.Module): def __init__(self, dim): super(PlanarFlow, self).__init__() self.u = nn.Parameter(torch.randn(dim)) self.w = nn.Parameter(torch.randn(dim)) self.b = nn.Parameter(torch.randn(1)) def forward(self, z): # 计算平面流变换 uw = torch.dot(self.u, self.w) m_uw = -1 + torch.log(1 + torch.exp(uw)) u_hat = self.u + (m_uw - uw) * self.w / torch.norm(self.w) ** 2 zwb = torch.mv(z, self.w) + self.b h_zwb = torch.tanh(zwb).unsqueeze(1) z_new = z + u_hat * h_zwb # 计算雅可比行列式的对数 psi = (1 - h_zwb ** 2) * self.w det = 1 + torch.mv(psi, u_hat) log_det = torch.log(torch.abs(det)) return z_new, log_det # 示例使用 dim = 2 flow = PlanarFlow(dim) z = torch.randn(10, dim) z_new, log_det = flow(z) print("Transformed z:", z_new) print("Log determinant:", log_det) ``` ### 使用`nflows`库实现归一化流 `nflows`是一个专门用于实现归一化流的Python库，它提供了许多预定义的流层和模型架构，使用起来更加方便。以下是一个使用`nflows`库实现简单归一化流的示例： ```python from nflows.flows.base import Flow from nflows.distributions.normal import StandardNormal from nflows.flows.autoregressive import MaskedAutoregressiveFlow import torch # 定义流的维度 dim = 2 # 定义基础分布 base_dist = StandardNormal(shape=[dim]) # 定义流模型 flow = MaskedAutoregressiveFlow(features=dim) # 生成样本 num_samples = 10 samples = flow.sample(num_samples) print("Generated samples:", samples) ``` 在上述示例中，首先定义了基础分布为标准正态分布，然后使用`MaskedAutoregressiveFlow`构建了一个自回归流模型。最后，使用该模型生成了一些样本。
评论 115
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值