机器学习项目的实验方法

发现对于一些机器学习项目，在项目进行中往往会直接就开始编码实现，而没有一套完整的方法论和有实操性的流程，经过一些粗浅的研究，下面写出一些对于此的部分思考，或有参考借鉴之用。

实验开始前，需要清楚研究什么，如何收集数据，打算怎样分析

1. 研究目标

需要通过从清楚陈述问题、定义研究目标开始。

给定多个学习算法和一个有数据集定义的具体问题，我们可能希望确定哪个算法具有较低的泛化误差；可能希望对于给定的数据集，将性能排序；可能希望在两个或多个数据集上而不是单一数据集上比较两个或多个算法

2. 相应变量的选择

需要确定应该使用什么质量度量，最常使用的是误差，即分类的误分类错误和回归的均方误差。或这也可以使用某些变型，如风险度量、0/1损失推广为任意损失。在信息检索中，使用诸如精度和召回度量。在代价敏感学习汇总，不仅要考虑输出，还要考虑系统参数 如复杂度。

3. 因素和水平的选择

因素取决于研究目标，如果固定算法并且想要找出最佳超参数，则超参数就是因素；如果比较算法，学习算法便是超参数；若使用不同数据集，则数据集也成为因素。因素的水平应该小心选择，以便不失去好的配置，也避免不必要的实验。尽管以前的经验一般是加分的，但同样重要的是考察所有的因素和可能的重要因素水平，而不过于受以往经验的影响

4. 实验设计的选择

除非确信因素间互不影响，否则最好做因素设计。一般给定一个数据集，留一部分做为检验集，而其余的用来训练和验证，在大多数时候可以通过再抽样来做。实践中，小数据集导致高方差