机器学习：特征提取之ICA（独立成分分析）

1. ICA概念

先描述一下线性方程：
假如有n个人在一个房间说话，在这个房间的不同位置摆放了d个声音接收器，每个接收器在任何时刻会同时采集到d个人说话的重叠声音信号。因为每个接收器和每个人的距离不同，所以每个接收器接收到的声音信号的重叠情况也不同。在具体时刻t，从d个接收器接采集的一组声音数据(一个接收器得到一个数据，所以一个样本中有d个数据)，然后收集m个时刻的样本数据，如何从这m个样本集分离出n个说话者各自的声音呢？

显然，有多少个采样时刻，就可以理解为有多少个样本；而信号源的个数可以理解为特征的维数

令：n = 2,有两个说话的人，两个声音接收器，d = 2，采集t和时刻的声音信号
记：两个说话者的声音分别用s1和s2表示，两个声音接收器收到的信号分别用x1(t)和x2(t)表示，其中x是采集的声音信号，是已知的
则：一定存在常数a11、a12、a21、a22使得以下线性方程组成立：
x1(t) = a11s1+a12s2
x2(t) = a21s1+a22s2

上述方程组写成矩阵的形式为：X = AS
看到这里，应该已经理解每个时刻的每个声音接收器接收到的声音信号都是时刻t，d个说话者的独立声音的线性组合，而混合矩阵A决定了这个线性组合

令，W = A(-1)
那么，X = AS，就可以转换成，S = WX

小结ICA的目标：是从混合信号 x 中提取出 d 个独立变量成分，也就