互信息图像配准

图像配准是为了解决两幅不同来源的图像匹配问题。例如，楼外的一颗大树开花了，小明路过觉得好看，就拿相机拍了一张照片。结果回屋拷出来一看不满意，于是小明从窗户又拍了一张。两张照片拍摄角度和距离不一样（也即存在投影变换），同时照片细节也有差异（第二次拍摄的时候起风了，树叶子都有轻微的位移）。那么问题来了：怎么样让计算机把两幅图片中的树，像素对像素的给匹配起来？

互信息配准算法是解决此问题较好的方法之一。它是利用信息论中的熵思想。我们知道，熵是对随机变量不确定度的衡量。一个离散随机变量X的熵可以表示为：

$$H(X) = - \sum\limits_x {p(x){{\log }_2}p(x)}$$

那么对于联合分布$f(X,Y)$，当随机变量Y的取值确定以后，由于相关性的存在，X的不确定性就会降低，熵也随之减小。因此，可以定义条件熵

$$H(X|Y) = - \sum\limits_{x,y} {p(x,y){{\log }_2}p(x|y)}$$
可以证明，X的条件熵是一定小于其自身的熵，也即
$$H(X|Y) \leqslant H(X)$$
啥时候等号成立呢？当X和Y完全独立的时候，有兴趣的同学可以推导一下，很简单。从物理意义上也比较好理解：当X和Y完全独立，我们知道Y的值，和随机变量X没有一点关系，当然X的不确定度就没有减小。所以此时条件熵和熵相等。

有了条件熵之后，就可以定义随机变量$X$和$Y$的互信息，它的公式为：

$$I(X,Y) = \sum\limits_{x,y} {p(x,y){{\log }_2}\frac{{p(x,y)}}{{p(x)p(y)}}}$$
这个公式不太直观，不过如果这么解释就易懂多了：