【论文阅读】Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

参考：
https://blog.youkuaiyun.com/dcz1994/article/details/88837760

用一个Gibbs分布来表征条件随机场：
$$P(\mathbf{X}|\mathbf{I})=\frac{1}{Z(\mathbf{I})}\exp \left(-\sum _{c\in {\mathcal{C}}_{\mathcal{G}}}{\varphi }_c\left({\mathbf{X}}_c|\mathbf{I}\right)\right)$$

取随机场最大后验概率对应的x作为标签：
$${\mathbf{x}}^{\ast }=\arg {\mathrm{mal}}_{\mathbf{x}\in {\mathcal{L}}^N}P(\mathbf{x}|\mathbf{I})$$

整个随机场的Gibbs能量为：
$$E(\mathrm{x})=\sum _i{\psi }_u\left(x_i\right)+\sum _{i<j}{\psi }_p\left(x_i,x_j\right)$$
式中，${\psi }_u\left(x_i\right)$和 ${\psi }_p\left(x_i,x_j\right)$分别代表unary and pairwise cliques
考虑二元势：
$${\psi }_p\left(x_i,x_j\right)=\mu \left(x_i,x_j\right)\underset{k\left({\mathbf{f}}_i,{\mathbf{f}}_j\right)}{\underbrace{\sum _{m=1}^K{w}^{(m)}{k}^{(m)}\left({\mathbf{f}}_i,{\mathbf{f}}_j\right)}}$$
式中表示的是整个概率图模型中某一个pairwise cliques的势函数，那个K是指一共有k个高斯核吗？$\mu (x_i,x_j)$是标签相关性函数：

对于多类别图像分割问题使用contrast-sensitive two-kernel potentials,$I_i$和$I_j$表示颜色向量，$p_i$和$p_j$表示位置：
$$k\left({\mathbf{f}}_i,{\mathbf{f}}_j\right)=\underset{\text{ appearance kernel }}{\underbrace{w^{(1)}\exp \left(-\frac{{\left|p_i-p_j\right|}^2}{2{\theta }_{\alpha }^2}-\frac{{\left|I_i-I_j\right|}^2}{2{\theta }_{\beta }^2}\right)}}+w^{(2)}\underset{\text{ smoothness kernel }}{\underbrace{\exp \left(-\frac{{\left|p_i-p_j\right|}^2}{2{\theta }_{\gamma }^2}\right)}}$$

Efficient Inference in Fully Connected CRFs

使用$Q(X)$近似代替原始的$P(X)$分布，并使得KL散度$D(Q||P)$最小。
推导过程参考FCN(5)——DenseCRF推导
这里我直接搬运过来了，这样方变做笔记哈哈哈
下面变分推断的目的是找到一个函数$Q(x)$，来近似表示$P(x)$，以降低模型的复杂度。这个过程经过推导可知需要进行迭代近似。CRF的参数包括$\theta 和w$，参数的学习需要使用其他算法进行。
我们首先给出denseCRF的Gibbs分布：
$$P(X)=\frac{1}{Z}\tilde{P}(X)=\frac{1}{Z}\exp \left(\sum _i{\psi }_u\left(x_i\right)+\sum _{i<j}{\psi }_p\left(x_i,x_j\right)\right)$$
$$D(Q\Vert P)=\sum _{x}Q(x)\log \left(\frac{Q(x)}{P(x)}\right)=-\sum _{x}Q(x)\log P(x)+\sum _{x}Q(x)\log Q(x)$$

$$=-E_{X\in Q}[\log P(X)]+E_{X\in Q}[\log Q(X)]$$

$$=-E_{X\in Q}[\log \tilde{P}(X)]+E_{X\in Q}[\log Z]+\sum _i{E}_{X_i\in Q}\left[\log Q_i\left(X_i\right)\right]$$

$$=-E_{X\in Q}[\log \tilde{P}(X)]+\log Z+\sum _i{E}_{X_i\in Q_i}\left[\log Q_i\left(X_i\right)\right]$$
由于我们要求的是Q，而logZ项中没有Q，所以这一项可以省略。
Q(X)是在当前输入下，某一标签取得x值的概率

同时Q还需要满足：
概率归一化
$$\sum _{x_i}{Q}_i\left(x_i\right)=1$$

所以利用拉格朗日乘子法，可以得到
$$L\left(Q_i\right)=-E_{X_i\in Q}[\log \tilde{P}(X)]+\sum _i{E}_{x_i\in Q_i}\left[\log Q_i\left(x_i\right)\right]+\lambda \left(\sum _{x_i}{Q}_i\left(x_i\right)-1\right)$$
这个公式的后面两项相对比较简单，但是前面一项比较复杂，我们单独做一下处理：
该项在之前被表示为：${\sum }_{x}Q(x)\log Q(x)$
$$-E_{X_i\in Q}[\log \tilde{P}(X)]=-\int \prod _i{Q}_i\left(x_i\right)[\log \tilde{P}(X)]dX$$

$$=-\int Q_i\left(x_i\right)\prod _{i}Q\left({\overline{x}}_i\right)[\log \tilde{P}(X)]d{x}_{i}d\overline{X}$$

$$=-\int Q_i\left(x_i\right)E_{\overline{X}\in Q}[\log \tilde{P}(X)]d{x}_i$$
经过上面的公式整理，我们可以求出偏导，可得
$$\frac{\partial L\left(Q_i\right)}{\partial Q_i\left(x_i\right)}=-E_{\overline{X}\in Q_i}\left[\log \tilde{P}\left(X|x_i\right)\right]-\log Q_i\left(x_i\right)-1+\lambda$$
令偏导为0，就可以求出极值：
$$Q_i\left(x_i\right)=\exp (\lambda -1)\exp \left(-E_{\overline{X}\in Q_i}\left[\log \tilde{P}\left(X|x_i\right)\right]\right)$$
由于每一个Q的$\exp (\lambda -1)$都相同，我们将其当作一个常数项，之后在renormalize的时候将其抵消掉，于是Q函数就等于：
$$Q\left(x_i\right)=\frac{1}{Z_1}\exp \left(-E_{\overline{X}\in Q_i}\left[\log \tilde{P}\left(X|x_i\right)\right]\right)$$
我们将文章开头关于\tilde{P}的定义带入，就得到了
$$Q\left(x_i\right)=\frac{1}{Z_1}\exp \left(-E_{\overline{X}\in Q}\left[\left(\sum _i{\psi }_u\left(x_i\right)+\sum _{j̸=i}{\psi }_p\left(x_i,x_j\right)\right)|x_i\right]\right)$$
这里面xi的由于是已知的，所以我们可以得到补充材料里的结果（但是变量名不太一样）：
$$Q_i\left(x_i=l\right)=\frac{1}{Z_i}\exp \left[-{\psi }_u(l)-\sum _{j̸=i}{E}_{\overline{X}\in Q_j}{\psi }_p\left(l,X_j\right)\right]$$
继续扩展，就可以得到
$$=\frac{1}{Z_i}\exp \left[-{\psi }_u(l)-\sum _{m=1}^K{w}^{(m)}\sum _{j̸=i}{E}_{X\in Q_j}\left[\mu \left(l,X_j\right)k^{(m)}\left(f_i,f_j\right)\right]\right]$$

$$=\frac{1}{Z_i}\exp \left[-{\psi }_u(l)-\sum _{m=1}^K{w}^{(m)}\sum _{j̸=i}\sum _{l^{\prime }\in L}{Q}_j\left(l^{\prime }\right)\mu \left(l,l^{\prime }\right)k^{(m)}\left(f_i,f_j\right)\right]$$

$$=\frac{1}{Z_i}\exp \left[-{\psi }_u(l)-\sum _{l^{\prime }\in L}\mu \left(l,l^{\prime }\right)\sum _{m=1}^K{w}^{(m)}\sum _{j̸=i}{Q}_j\left(l^{\prime }\right)k^{(m)}\left(f_i,f_j\right)\right]$$
这样，一个类似message passing的公式推导就完成了。其中最内层的求和可以用截断的高斯滤波完成。搬运最后的一点公式，可以得：
$$Q_i^{(\tilde{m})}(l)=\sum _{j̸=i}{Q}_j\left(l^{\prime }\right)k^{(m)}\left(f_i,f_j\right)=\sum _j{Q}_j(l)k^{(m)}\left(f_i,f_j\right)-Q_i(l)$$
最终得到的迭代公式是：
$$Q_i\left(x_i=l\right)=\frac{1}{Z_i}\exp \left\{-{\psi }_u\left(x_i\right)-\sum _{l^{\prime }\in \mathcal{L}}\mu \left(l,l^{\prime }\right)\sum _{m=1}^K{w}^{(m)}\sum _{j̸=i}{k}^{(m)}\left({\mathbf{f}}_i,{\mathbf{f}}_j\right)Q_j\left(l^{\prime }\right)\right\}$$