互信息的不变性

互信息的不变性

有几天没写啥东西了，更一个。

Theorem.1 令$I(X,Y)$为$X$和$Y$之间的互信息。令$U=F(X),V=G(Y)$,其中，$U,V,X,Y$都是随机向量，$F,V$是光滑且可逆的映射。则$I(U,V)=I(X,Y)$.

证明：

变换的雅可比行列式为$J_U=|\frac{\partial U}{\partial X}|$和$J_U=|\frac{\partial V}{\partial Y}|$,则有：
$$\begin{gathered} f_{U,V}(u,v)J_U(x)J_V(y)=f_{X,Y}(x,y) \\ du=J_{U}dxdv=J_{v}dy \\ {f}_U(u)J_U(x)=f_X(x) \\ {f}_V(v)J_V(y)=f_Y(y) \end{gathered}$$

$$\begin{array}{rl}I(U,V)& =\int \int f_{U,V}(u,v)log(\frac{f_{U,V}(u,v)}{f_U(u)f_V(v)})dudv\\ & =\int \int \frac{f_{X,Y}(x,y)}{J_U{J}_V}log(\frac{\frac{f_{X,Y}(x,y)}{J_U{J}_V}}{\frac{f_X(x)f_Y(y)}{J_U{J}_V}})J_{U}dx{J}_{V}dy\\ & =\int \int f_{X,Y}(x,y)log(\frac{f_{X,Y}(x,y)}{f_X(x)f_Y(y)})dxdy\\ & =I(X,Y)\end{array}$$

因此，对任意随机变量做满足上述要求的变换，其互信息是不变的。这一点在许多论文中提到，例如著名的神经互信息估计MINE。