Flow Matching 和 Rectified Flow的区别

AIGC_增益

已于 2025-03-10 16:33:16 修改

阅读量1.3k

点赞数 24

分类专栏： Diffusion Models 文章标签：机器学习人工智能

于 2025-03-08 22:45:10 首次发布

本文链接：https://blog.youkuaiyun.com/qq_43069203/article/details/146124064

版权

Diffusion Models 专栏收录该内容

12 篇文章

订阅专栏

Flow Matching是通过匹配目标向量场来训练CNF，比如通过最小化目标向量场和模型预测之间的差异。
Rectified Flow的核心思想是学习一个确定性轨迹，将数据分布转换为噪声分布，比如通过线性插值或者更复杂的路径。

FLUX.1 原理与源码解析

【AIGC图像实践篇 11】Stable Diffusion 3（SD3）原理及实践 - grooter的文章 - 知乎

Rectified Flow和Flow Matching的区别

Rectified Flow和Flow Matching是生成模型中基于连续归一化流（CNF）的两种方法，它们既有联系又有区别。以下从原理、公式和代码实现三个方面进行解释。

原理对比

Flow Matching

核心思想：通过直接匹配目标向量场（Target Vector Field）来训练CNF模型，最小化目标向量场和模型预测之间的差异，绕过了传统基于最大似然估计的复杂优化问题。
关键点：
- 定义条件概率路径 $p_t(x)$ （如将数据点 $x_0$ 和噪声 $x_1$ 插值），并推导对应的目标向量场 $u_t(x)$ 。
- 训练模型 $v_\theta(x, t)$ 直接拟合 $u_t(x)$ ，无需显式计算概率密度。

Rectified Flow

核心思想：通过构造直线路径（如 $x_t = x_0 + t(x_1 - x_0)$ ）将数据分布转换为噪声分布，强调轨迹的“直线性”以简化采样。
关键点：
- 强制轨迹为直线，减少曲率，从而允许更少的时间步采样。
- 通过迭代优化（如Reflow技术）进一步拉直轨迹，提升生成质量。

公式对比

Flow Matching

目标向量场：
假设条件路径 $p_t(x | x_1)$ 由插值定义（如 $x_t = (1-t)x_0 + t x_1$ ），目标向量场为：
$u_t(x) = \mathbb{E}_{x_0, x_1 \sim p(x_0, x_1)} \left[ \frac{dx_t}{dt} \mid x_t = x \right]$
损失函数：
最小化模型预测 $v_\theta(x, t)$ 与目标场的差异：
$\mathcal{L}_{\text{FM}} = \mathbb{E}_{t, x_t} \left[ \| v_\theta(x_t, t) - u_t(x_t) \|^2 \right]$

Rectified Flow

目标向量场：
直接定义直线路径 $x_t = x_0 + t(x_1 - x_0)$ ，目标速度为常数：
$u_t(x) = x_1 - x_0$
损失函数：
强制模型预测的速度与目标速度一致：
$\mathcal{L}_{\text{RF}} = \mathbb{E}_{t, x_0, x_1} \left[ \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]$
Reflow技术：
迭代训练多个Rectified Flow模型，逐步拉直轨迹。

代码实现对比

Flow Matching示例（简化版）

def flow_matching_loss(model, x0, x1, t):
    # 线性插值生成样本
    xt = (1 - t) * x0 + t * x1
    # 目标向量场为 x1 - x0
    ut = x1 - x0
    # 模型预测当前速度
    vt = model(xt, t)
    # 计算均方误差
    loss = torch.mean((vt - ut) ** 2)
    return loss

Rectified Flow示例（简化版）

def rectified_flow_loss(model, x0, x1, t):
    # 直线路径生成样本
    xt = x0 + t * (x1 - x0)
    # 目标速度恒为 x1 - x0
    target_velocity = x1 - x0
    # 模型预测速度
    pred_velocity = model(xt, t)
    # 计算均方误差
    loss = torch.mean((pred_velocity - target_velocity) ** 2)
    return loss

关键区别

路径生成：
Flow Matching允许自由选择概率路径（如最优传输路径），而Rectified Flow强调直线路径和迭代优化（Reflow），牺牲部分灵活性以换取高效采样。
损失计算：
Rectified Flow的目标速度直接为 $x_1−x_0$ ，而Flow Matching可能根据不同的插值方式调整目标向量场。