kl195375的博客

PCA可以用于数据的降维，也可以用于特征的选择。降维后所有特征都是新的特征，无法明确其具体的意义。设C为原样本集，P为基。新的数据为T。C类似于原有坐标点，P是坐标系的基，通过矩阵乘法可以获得新的坐标点T。通过这种方法获得的T便是降维后的数据集。在这里我们需要获得P。两数据之间不存在相互关系时，方差为0.可以利用这个关系建立协方差矩阵新数据的协方差为M：为T的协方差矩阵，格式如下:原数据的协方差为D：M与D之间的关系为：优化协方差M也就是令协方差矩阵对角化：优化方式是利用拉格朗日

IG(t)=H( C )-H(C/T)特征T的信息增益等于：整体C的信息量减去已知特征t时的信息量。信息量通过熵来表达。H( C )是整体的信息熵Ci为类别H（C/T）是已知特征T时的信息量，一般只存在两种状态，有特征T为t，没有特征T,为*t。所以...

计算特征f分别在B类M类中的CIG值。能够有效的提取有效特征。