特征选择mRMR算法实现全解

mRMR：（Maximum relerelevance，minimum redundancy）

---

核心思想： 即最大化特征与分类变量之间的相关性，而最小化特征与特征之间的相关性。

它不仅考虑到了特征和label之间的相关性，还考虑到了特征和特征之间的相关性。度量标准使用的是互信息(Mutual information)。对于mRMR方法，特征子集与类别的相关性通过各个特征与类别的信息增益的均值来计算，而特征与特征的冗余使用的是特征和特征之间的互信息加和再除以子集中特征个数的平方。

在正式介绍mRMR算法之前先介绍下互信息概念。

一、 互信息：

---

定义：给定两个随机变量x和y，他们的概率密度函数（对应于连续变量）为p(x),p(y),p(x,y)，则互信息为

$$I(x;y)=\int \int p(x,y)log\frac{p(x,y)}{p(x)p(y)}dxdy,.$$
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

二、mRMR目标

---

我们的目标就是找出含有m个特征的特征子集$S$ ，这m个特征需满足以下两点条件

Goal1. 保证特征和类别的相关性最大(Maximum relerelevance)

---

• 离散变量
  $$maxD(S,c),D=\left|S\right|$$