[读书笔记]机器学习-11章-特征选择和稀疏学习

11 特征选择和稀疏学习

11.1 子集搜索和评价

定义:特征很多,选出相关的特征的过程
原因:
- 维度灾难(和10章讲的降维有关系)
- 降低学习难度

问题的难点:组合爆炸.
解决的两个环节:

如何评价子集好坏

一个特征划分样本和正本真实划分约接近,特征效果越好.
书中的例子是使用信息熵增益

$$gain(A)=Ent(D) - \sum \frac {|D_i|} {|D|} Ent(D_i)$$

如何根据现在的评价结果选择下一个子集

前向/后向 都是贪心的,可能不一定是最优的

这和决策树很像,facebook的gbdt+lr就是这么搞的吧.还有很多不明显的.

11.2 过滤式选择

11.3 包裹式学习

11.4 嵌入式选择与$L_1$正则化

11.5 稀疏表示与字典学习

11.6 压缩感知