机器学习：特征提取之ICA（独立成分分析）

1. ICA概念

先描述一下线性方程：
假如有n个人在一个房间说话，在这个房间的不同位置摆放了d个声音接收器，每个接收器在任何时刻会同时采集到d个人说话的重叠声音信号。因为每个接收器和每个人的距离不同，所以每个接收器接收到的声音信号的重叠情况也不同。在具体时刻t，从d个接收器接采集的一组声音数据(一个接收器得到一个数据，所以一个样本中有d个数据)，然后收集m个时刻的样本数据，如何从这m个样本集分离出n个说话者各自的声音呢？

显然，有多少个采样时刻，就可以理解为有多少个样本；而信号源的个数可以理解为特征的维数

令：n = 2,有两个说话的人，两个声音接收器，d = 2，采集t和时刻的声音信号
记：两个说话者的声音分别用s1和s2表示，两个声音接收器收到的信号分别用x1(t)和x2(t)表示，其中x是采集的声音信号，是已知的
则：一定存在常数a11、a12、a21、a22使得以下线性方程组成立：
x1(t) = a11s1+a12s2
x2(t) = a21s1+a22s2

上述方程组写成矩阵的形式为：X = AS
看到这里，应该已经理解每个时刻的每个声音接收器接收到的声音信号都是时刻t，d个说话者的独立声音的线性组合，而混合矩阵A决定了这个线性组合

令，W = A(-1)
那么，X = AS，就可以转换成，S = WX

小结ICA的目标：是从混合信号 x 中提取出 d 个独立变量成分，也就是找到分离矩阵 W

2. ICA模型转化

通过上面的分析可知，已知混合信号X，来寻找分离矩阵W，然后计算WX来找到Y，即原始信号S的估计值。

在模型中我们假设各个信号S间是相互独立的，所以我么求解得到的Y的分量间也是相互独立的，所以在未知混合矩阵A，分离矩阵W，只有观测数据X的情况下，我们通过度量Y各个分量间的独立性，来评判求解结果的好坏。Y的各分量独立性越好，说明Y越接近S的真实值，此时的混合矩阵W也越好