DeepLabv1补充：对全连接条件随机场(Fully Connected / Dense CRF)的理解

1. 随机场 (random field)

  由若干位置组成的整体，每一个位置按某种分布随机地赋一个值，全体即组成一个随机场。

2. 马尔科夫随机场(MRF)

  马尔科夫随机场是随机场的特例，假设某一个位置的赋值只与和它相邻的位置相关。

3. 条件随机场(CRF)

  条件随机场是马尔科夫随机场的特例，假设马尔可夫随机场只有X和Y两个随机变量，一般情况下，X是给定的，Y是输出。
  形式化定义：设X和Y是随机变量，$P(Y|X)$是给定X时Y的条件概率分布，若Y构成一个马尔科夫随机场，则$P(Y|X)$是条件随机场。

4. 线性链条件随机场(linear CRF)

  若X和Y有相同的结构，即$X=(X_1,X_2,...,X_n)，Y=(Y_1,Y_2,...Y_n)$，则构成线性链(linear chain)条件随机场。
  形式化定义：设$X=(X_1,X_2,...,X_n)，Y=(Y_1,Y_2,...Y_n)$均为线性链表示的随机变量序列，在给定随机变量序列X的情况下，如果随机变量Y的条件概率分布$P(Y|X)$构成条件随机场，即具有马尔科夫性，即：
$$P(Y_i|X,Y_1,Y_2,...,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$

  则$P(Y|X)是线性链条件随机场

5. 全连接条件随机场(Fully Connected / Dense CRF)

  如下图，有一幅图像：

  若像素类别之和自己所在的像素点有关，则建模如下图：

  更加复杂地，每一个像素类别和图像中所有像素有关，则如下图：

  更加fancy的，每一个像素类别和它的一个4邻域相关，如下图所示：

  最复杂的，把能连的都连起来，构成全连接CRF，即Dense CRF。下图并没有画全所有连接：