4、机器学习基础与简单分类算法入门

机器学习基础与简单分类算法入门

1. 数据预处理与模型选择

在机器学习中，数据预处理和模型选择是至关重要的步骤。

1.1 特征降维

部分选定的特征可能高度相关，存在一定程度的冗余。此时，降维技术可将特征压缩到低维子空间。降维具有减少存储空间、加快学习算法运行速度的优势。当数据集包含大量无关特征（即噪声），也就是信噪比低时，降维还能提升模型的预测性能。

1.2 数据集划分

为判断机器学习算法在训练集上的表现，以及其对新数据的泛化能力，需将数据集随机划分为训练集和测试集。使用训练集来训练和优化机器学习模型，测试集则留到最后评估最终模型。

1.3 模型训练与选择

不同的机器学习算法用于解决不同的问题。根据相关理论，没有“免费的午餐”，即没有一种算法能在所有任务中都表现出色。每种分类算法都有其固有偏差，若不对任务做假设，单一分类模型并无绝对优势。因此，实际中需比较多种不同算法，以训练和选择性能最佳的模型。在比较模型前，需确定衡量性能的指标，常用的是分类准确率，即正确分类实例的比例。

为了解决不使用测试集进行模型选择，但又想知道哪个模型在最终测试集和现实数据上表现良好的问题，可采用“交叉验证”技术。交叉验证进一步将数据集划分为训练子集和验证子集，以估计模型的泛化性能。同时，不能期望软件库提供的学习算法默认参数对特定问题是最优的，后续会频繁使用超参数优化技术来微调模型性能。超参数是不能从数据中学习到的参数，可看作调节模型性能的旋钮。

2. 模型评估与预测

选择在训练集上拟合好的模型后，可用测试集评估其在未知数据上的表现，即估计泛化误差。若对性能满意，就可用该模型