特征选择-mRMR算法

mRMR  (Max-Relevance and Min-Redundancy) 最大相关和最小冗余算法

为什么会出现mRMR算法？

mRMR算法主要是为了解决通过最大化特征与目标变量的相关关系度量得到的最好的m个特征，并不一定会得到最好的预测精度的问题，因为这m个特征存在冗余特征的情况（是指该特征所包含的信息能从其他特征推演出来，如对于“面积”这个特征而言，从能从“长”和“宽”得出，则它是冗余特征。）。因此mRMR就是为了保证对大相关性的同时，彼此之间又有最小的冗余性。

再了解mRMR之前我们先看一下互信息的概念：

什么是互信息？

互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。简而言之就是看两个随机变量X，Y是否相关，以及相关程度。

互信息的定义如下：

对