论文阅读（1）Adding Conditional Control to Text-to-Image Diffusion Models

Motivation

1. 文生图模型对于图像空间组成的控制有限；仅通过文本提示难以精确表达复杂的布局、子式、形状和形式
2. 以端到端（e.g. 深度图到图像，姿势到图像等）的方式学习大型文生图扩散模型的条件控制具有挑战性（训练数据不足、训练过度拟合或灾难性遗忘）

Approach

通过锁定模型参数并制作其编码层的可训练副本来保持模型的质量与功能

可训练副本和原始锁定模型通过零卷积层连接，权重初始化为零，以便它们在训练过程中逐渐增长。一次确保在训练开始时不会将有害噪声添加到 large diffusion model 的深层特征中，并保护可训练副本中的大规模预训练主干免受这种噪声的破坏。

零卷积 (zero convolution)：权重和偏置都是用0初始化的1 x 1卷积。

Condition：Canny edges, Hough lines, user scribbles, human key points, segmentation maps, shape normals, depths, and cartoon line drawings

FAQ（参考 Github 官方回答）

问：如果卷积层的权重为零，梯度也为零，网络将不会学到任何东西。为什么『零卷积』有效？
答：这是错误的。让我们考虑一个非常简单的
$$y=wx+b$$
我们有
$$\partial y/\partial w=x,\partial y/\partial x=w,\partial y/\partial b=1$$
如果 $w=0$ 且 $x\ne 0$，那么
$$\partial y/\partial w\ne 0,\partial y/\partial x=0,\partial y/\partial b\ne 0$$
这意味着只要 $x\ne 0$，一次梯度下降迭代就会使 w w