1,特征工程的重要性。
好数据 > 多数据 > 好算法。
数据和特征决定了模型预测的上限,而算法只是逼近这个算法而已。
应用机器学习基本上就是特征工程。
2,什么是好的特征?–少而精!
模型更简单:同样的模型精度选择更简单的模型
模型更精准:好的特征是数据中抽取出来的对预测结果最有用的信息
3,特征提取的总结:
特征设计时需要与目标高度相关,应考虑以下三个问题:
这个特征对于目标是否有用?
如果有用,这个特征重要程度如何?
这个特征的信息是否在其他的特征上体现过?
特征设计需要一定的领域知识、直觉和数学知识
初始提取特征后还需要进行特征转换处理后,再进入算法模型
特征设计和提取需要不断进行反复的迭代验证,需要大量时间
4,特征提取。
1,文本特征提取。
词袋模型
TFIDF
2,图像特征提取。