ESL-ICA

Independent Component Analysis

假设$x\in \mathbb{R}^{p\times 1}$是观测直，$s\in \mathbb{R}^{p\times 1}$是源，则有:

$$x = As \ \ \ \ \ (1)\\ $$
这里提到一个概念， 自由（Independent）与不相关的关系(uncorrelated)：

p(x,y) = p(x)p(y) => E[x,y] = E[x]E[y]

前者是自由的充要条件，后者是uncorrelated的条件。
ICA与PCA的区别在于，对于ICA，$s$是independent而对于PCA则仅要求s是uncorrelated. 那么ICA要求s是non-Gaussian Distribution，因为虽然Gaussian Dist是uncorrelated的但不满足independent的条件。

ICA & Maximum Likelihood

欲求s，我们需要求解$A$或者$W=A^{-1}$，假设s的概率分布是$p_s(s)$，则x的分布是：

$$p_x(x) = p_s(Ws)|W| \ \ \ \ \ (2)\\ x = [x_1, x_2, ..., x_p]^T\\ s = [s_1, s_2, ..., s_p]^T$$
记:
$$W = \begin{bmatrix} -w_1^T-\\ -w_2^T-\\ ......\\ -w_p^T-\\ \end{bmatrix}\\ \ \\ \ \ \\ s = Wx$$
则有：

si=wTi×