关于独立主成分分析（ICA）的学习

一直搞不清ICA里面的独立性和信息论里面两个分布相关性之间的关系，在这里重新学习一下
参考：《Machine Learning：A Probabilistic Perspective》 by Kevin P. Murphy

一、关于信息论

“Information theory is concerned with representing data in a compact fashion (a task known as data compression or source coding), as well as with transmitting and sorting it in a way that is robust to errors (a task known as error correction or channel coding). ”

1、熵(Entropy)

随机变量$X$具有分布$p$，则它的熵写作：$\mathbb{H}(X)$，或者， $\mathbb{H}(p)$，用于衡量不确定性。

更具体地，对于离散变量$X$，其有$K$个可能的状态，则它的熵定义为：

$$\mathbb{H}(X)\stackrel{\underset{△}{}}{=}-\sum _{k=1}^{K}p(X=k){\log }_{2}p(X=k)$$

其中，${\log }_2$可以认为是二进制编码，上式求和过程可认为是求取平均二进制编码位数

例： X = { 1 , … , 5 } X=\{1,\dots,5\} X={ 1,…,5}，其对应的分布为$p=[0.25,0.25,0.2,0.15,0.15]$，则可求得$H=2.2855$。
可证明当$X$满足均匀分布时，熵得到最大化，即$p(x=k)=1/K$，此时熵值为$\mathbb{H}(X)={\log }_{2}K$。反之，若$X$的分布为delta-function，此时熵最小，熵值为0。

• 对于二元随机变量，即 X ∈ { 0 , 1 } X\in\{0,1\} X∈{ 0,1}，其概率分布可写作$p(X=1)=\theta$、$p(X=0)=1-\theta$，则熵写作：
  $\mathbb{H}(X)$
  $=-[p(X=1){\log }_{2}p(X=1)+p(X=0){\log }_{2}p(X=0)]$
  $=-[\theta {\log }_2\theta +(1-\theta ){\log }_2(1-\theta )]$

该熵值随$\theta$变化的曲线图如下：

可见，当两个状态概率相同的时候（均匀分布），熵值最大

2、KL 散度（Kullback-Leibler divergence）

KL散度用于度量两个分布之间的不相似性，对于分布$p$、$q$，KL散度定义为：

$$\mathbb{K}\mathbb{L}(p||q)\stackrel{\underset{△}{}}{=}\sum _{k=1}^K{p}_k\log \frac{p_k}{q_k}$$

也可写作：

$$\mathbb{K}\mathbb{L}(p||q)=\sum _k{p}_k\log p_k-\sum _k{p}_k\log q_k=-\mathbb{H}(p)+\mathbb{H}(p,q)$$

其中，$\mathbb{H}(p,q)$被称为交叉熵(cross entropy)：

$$\mathbb{H}(p,q)\stackrel{\underset{△}{}}{=}-\sum _k{p}_k\log q_k$$

可以理解为将码本$q$按照概率分布$p$编码所需要的平均编码位数。
而KL散度则可以理解为采用真实分布$p$作为码本和采用另一个分布$q$作为码本之间的差距。

• Information inequality： K L ( p ∣ ∣ q ) ≥ 0 \mathbb K\mathbb L(p||q)\geq0