SDEDIT: GUIDED IMAGE SYNTHESIS AND EDITING WITH STOCHASTIC DIFFERENTIAL EQUATIONS

• https://arxiv.org/pdf/2108.01073

1. 问题引入

• 解决的问题包括stroke painting to image, image composition, stroke based editing，示意图如下：
• 方法是首先对输入加噪，之后进行去噪，该方法可以不通过额外的训练以及新的损失函数就可以实现1）和输入的一致性以及2）高真实性两个目标；

2. methods
   

• stochastic differential equations(SDEs): 对于从数据中采样得到的$x(0)\sim p_0=p_{data}$，经过forward SDE加噪得到$x(t),t\in (0,1],x(t)=\alpha (t)x(0)+\sigma (t)z,z\sim N(0,I)$，其中$\sigma (t):[0,1]\to [0,\infty )$是一个标量方程，形容噪声的程度，$\alpha (t):[0,1]\to [0,1]$也是一个标量方程控制原图的magnitude，$x(t)$的概率密度方程用$p_t$表示；
• 包含两种SDE，variance exploding SDE,VE-SDE($\alpha (t)=1$for all t，$\sigma (1)$是一个大的常量，此时的概率密度函数$p_1\sim N(0,{\sigma }^2(1)I$)，另一种是variance preserving(VP) SDE(${\alpha }^2(t)+{\sigma }^2(t)=1$，当$t\sim 1$时，$\alpha (t)\sim 0,p_1\sim N(0,I)$)，两种SDE都随着$t$从0到1，逐渐将分布转化为随机的高斯噪声；
• 在ve-sde的设定之下，image synthesis的过程可以通过reverse sde来实现，noise perturbed score function ${\nabla }_x\log p_t(x)$，reverse sde $dx(t)=\left[-\frac{d[{\sigma }^2(t)]}{dt}{\nabla }_x\log p_t(x)\right]dt+\sqrt{\frac{d[{\sigma }^2(t)]}{dt}}d\overline{w}$，其中$\overline{w}$是Wiener process，起点是$x(1)\sim p_1=N(0,{\sigma }^2(1)I)$，最后$x(0)$满足$p_{data}$的分布，noise perturbed score function ${\nabla }_x\log p_t(x)$可以通过denoising score matching来得到，目标是$L_t={\mathbb{E}}_{x(0)\sim p_{data},z\sim N(0,I)}[||{\sigma }_t{s}_{\theta }(x(t),t)-z|{|}_2^2]$，$s_{\theta }(x(t),t)$近似${\nabla }_x\log p_t(x)$，SDE solution可以用Euler-maruyama method来近似，从$t+\Delta t$到$t$的更新：$x(t)=x(t+\Delta t)+({\sigma }^2(t)-{\sigma }^2(t+\Delta t))s_{\theta }(x(t),t)+\sqrt{{\sigma }^2(t+\Delta t)-{\sigma }^2(t)}z$，选取一个$1\sim 0$的discretizationd的方法，就可以得到$x(0)$；在本文中$\sigma (t)=\{\begin{array}{ll}0& t=0\\ {\sigma }_{min}(\frac{{\sigma }_{max}}{{\sigma }_{min}}{)}^t& t>0\end{array},{\sigma }_{min}=0.01,{\sigma }_{max}=380,378,348,1348$对于不同的数据集；
• 在vp-sde的设定之下，$dx(t)=-\frac{1}{2}\beta (t)x(t)dt+\sqrt{\beta (t)}dw(t),\beta (t)={\beta }_{min}+t({\beta }_{max}-{\beta }_{min}),{\beta }_{min}=0.1,{\beta }_{max}=20$，此时$x_{n-1}=\frac{1}{\sqrt{1-\beta (t_n)\Delta t}}(x_n+\beta (t_n)\Delta t{s}_{\theta }(x(t_n),t_n))+\sqrt{\beta (t_n)\Delta t}{z}_n$；
• 该方法在faithful和realistic之间权衡，选取的$t_0$越大，也就是加噪程度越大，越realistic；
• 输入的图片$x^{(g)}$，选取$t_0$，对输入进行加噪得到$x^{(g)}(t_0)\sim N(x^{(g)};{\sigma }^2(t_0)I)$，之后再进行去噪的步骤得到$x(0)$，对应ve-sde的算法如下：
  
  对应vp-sde的算法如下：
  
• 对于image composition和stroke base editing任务来说，希望未经edit的部分和原图保持一致，给出 Ω ∈ { 0 , 1 } C × H × W \Omega\in\{0,1\}^{C\times H\times W} Ω∈{0,1}C×H×W，1表示可编辑区域，其中可编辑区域的操作和上面一样，先加噪再去噪，未编辑区域的中间$x(t)$使用原图加噪到指定$t$来替换：