特征选择-χ²检验

χ²检验用来检验两个事件的独立性。

如果A，B两个事件是独立的，则概率P(AB)=P(A)P(B)。

公式如下：

其中：

1）D是数据集

2）t：term，即特征

3）c：class，分类

4）N：在数据集里面观测值的频率

5）E：数学期望

计算方法：

0）前提假设：t与c是独立的

1）首先计算t=xi，c=yi的观测值（观测数量/频率）

Nx,y= xi出现并且yi出现的数量

2）计算数学期望

Ex,y=N(总数量）*P(t=xi)*P(c=yi)    其中假设t，c是独立的。

3）根据计算公式计算得出χ²

4）自由度为分类数-1，通过查表通过χ²查出p-value。

如果对应的p-value很小，则证明假设发生的概率很小，因此推翻原假设，即 t与c是相关的。

如果对应的p-value很大，则证明假设发生的概率很大，因此支持原假设，即t与c是无关的。

例子参考：

https://blog.youkuaiyun.com/shuzfan/article/details/52993427