27、TransFusion：基于多项扩散的语音转录模型

TransFusion：基于多项扩散的语音转录模型

1 扩散模型基础

扩散模型是一种生成模型，其扩散过程包括正向和反向函数。正向扩散过程由函数 $q(x_t|x_{t - 1})$ 定义，它会迭代地向信号中添加噪声，直到在时间步 $T$ 时，信号类似于纯噪声分布。反向扩散过程 $p(x_{t - 1}|x_t)$ 则迭代地对信号进行去噪，直到 $t = 0$ 时，信号类似于连贯信号。这个反向过程由一个大型神经网络进行参数化。

通常的扩散模型适用于连续信号，如图像或波形。对于离散信号（如文本），需要使用多项扩散。多项扩散将扩散模型的输入定义为一系列离散单元（如字母或单词），表示为独热编码向量 $x$。多项扩散定义了正向加噪过程 $q(x_t|x_{t - 1})$、后验 $q(x_{t - 1}|x_t, x_0)$ 和反向扩散过程 $p(x_{t - 1}|x_t)$ ：
[
q(x_t | x_{t - 1}) = C\left( x_t \middle| (1 - \beta_t)x_{t - 1} + \frac{\beta_t}{K} \right)
]
[
q(x_{t - 1} | x_t, x_0) = C\left( x_{t - 1} \middle| \frac{1}{A} [\alpha_t x_t + (1 - \alpha_t)/K] \odot [\bar{\alpha} {t - 1} x_0 + (1 - \bar{\alpha} {t - 1})/K] \right)
]
[
p(x_{t - 1} | x_t) = C\left( x_{t - 1} \middl