台大机器学习听课笔记---RF 10-3 Feature Selection

 Feature Selection

从庞大的特征集合中筛选特征(例如1W维选出300维)----来剔除掉 ：冗余，无关的特征。

• 这样做的好处：

1. 不管训练还是测试都是在那300维上，提高效率。

2. 排除掉了其他9700维的"noise".从而不容易overfit.

3. 可解释性

• 缺点：

1. 1W维选出300维，在计算上要花很大的力气。

2. 没选好的后果很可能导致overfit。

3. 假如发生了overfit，解释就成了错误的解释，或者这些解释只能告诉你关联性，不能告诉你因果关系。

对于Decision Tree，在切刀的时候就有FeatureSelection的过程了。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 Feature Selection by Importance

• 对于线性模型：

Wt为权重，Xi为第i维特征。

• 对于非线性模型(像RF这种)：

idea:random test    (某一列特征随机排序)

具体做法：

即：将某一列(第 i 列)的特征数据顺序打乱(重新随机排序)，然后重新训练模型，看看效果变化大小。

要点：

1. 重新训练模型

2. 用OOB避免重新划分validation。

3. 验证的时候作permutation？ 不太懂。。

Ps：小gt是一个Decision Tree。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

•  FunTime

Q:

A: