72、机器学习分类器选择与常见问题解决

机器学习分类器选择与常见问题解决

1. 分类器选择

在数据准备好之后，就需要选择合适的分类器。分类器的选择通常受计算能力、数据和内存等因素的影响。以下是不同需求下的分类器选择建议：
- 快速训练 ：对于需要快速训练分类器的应用，如在线用户偏好建模，最近邻、朴素贝叶斯或决策树是不错的选择。
- 内存考虑 ：如果内存是一个考虑因素，决策树或神经网络在空间利用上更高效。
- 训练时间充足但运行要快 ：有足够时间训练但要求分类器运行迅速，神经网络、朴素贝叶斯分类器和支持向量机是合适的。
- 需要高精度 ：如果有时间进行训练和运行，且要求高精度，提升算法和随机树可能更符合需求。
- 特征选择验证 ：若只是想简单验证特征选择是否合理，决策树或最近邻是较好的选择。
- 追求开箱即用的最佳性能 ：可以先尝试提升算法或随机树。

需要注意的是，没有绝对“最好”的分类器（根据无免费午餐定理）。在所有可能的数据分布上平均来看，所有分类器的性能相同。但在特定的数据分布或一组数据分布上，存在最佳分类器。因此，面对实际数据时，尝试多种分类器是个好主意。

2. 变量重要性

有两种算法可以评估变量的重要性。给定一组特征向量，如何确定这些特征对分类准确性的重要性呢？
- 二叉决策树 ：通过选择在每个节点上最能分割数据的变量来训练，顶层节点的变量是最重要的变量，下