11、机器学习项目实战：从模型评估到分类任务

机器学习项目实战：从模型评估到分类任务

模型评估与部署

在机器学习项目中，模型评估和部署是关键环节。我们需要编写一个脚本，在更新后的测试集上评估新模型和旧模型。如果新模型性能没有下降，就将其部署到生产环境；若性能下降，则需深入调查原因。脚本还应在测试集的各个子集上测试模型性能，如贫困或富裕地区、农村或城市地区等。

同时，评估模型输入数据的质量也很重要。有时，由于信号质量不佳（如传感器故障发送随机值，或其他团队输出数据过时），模型性能会逐渐下降，但系统性能下降到触发警报可能需要一段时间。通过监控模型输入，我们可以更早发现问题。例如，当越来越多的输入缺少某个特征，或者均值、标准差与训练集偏差过大，又或者分类特征出现新类别时，就触发警报。

为了应对可能出现的问题，我们要对创建的每个模型进行备份，并准备好快速回滚到先前模型的流程和工具。同样，也要备份每个版本的数据集，以便在新数据集损坏时回滚到之前的版本。备份数据集还能让我们用任何模型对之前的数据集进行评估。

机器学习项目实践建议

机器学习涉及大量基础设施建设。虽然机器学习算法很重要，但更建议先熟悉整个项目流程，掌握三四种算法，而不是把时间都花在探索高级算法上。

如果还没实践过，现在是个好时机。可以选择一个感兴趣的数据集，从头到尾完成整个项目。像Kaggle这样的竞赛网站是不错的起点，那里有数据集、明确的目标，还能和其他人分享经验。

住房数据集练习

以下是基于住房数据集的一些练习：
1. 支持向量机回归器 ：尝试使用不同超参数的支持向量机回归器（ sklearn.svm.