52、机器学习实验的设计与分析

机器学习实验的设计与分析

在机器学习实验中，有许多关键的原则和方法需要遵循，以确保实验的有效性和可靠性。下面将详细介绍实验设计的基本原理、实验准则、交叉验证与重采样方法以及分类器性能的度量。

1. 实验设计的基本原理

实验设计有三个基本原理，分别是随机化、重复和区组化。

• 随机化（Randomization） ：要求实验运行的顺序随机确定，以保证结果的独立性。在涉及物理对象的现实实验中，这一点尤为重要。例如，机器需要一定时间预热才能在正常范围内运行，随机安排测试顺序可以避免时间因素对结果产生偏差。不过，在软件实验中，顺序通常不是问题。
• 重复（Replication） ：对于相同的（可控制）因素配置，实验应多次运行，以平均不可控因素的影响。在机器学习中，通常通过在同一数据集的多个重采样版本上运行相同算法来实现，这就是交叉验证，后续会详细讨论。通过观察同一实验不同重复的响应变化，我们可以估计实验误差（不可控因素的影响），进而确定差异达到多大才能被认为具有统计学意义。
• 区组化（Blocking） ：用于减少或消除由干扰因素引起的变异性，这些干扰因素会影响响应但我们并不关心。例如，工厂生产的缺陷可能还取决于不同批次的原材料，应将这种影响与工厂的可控因素（如设备、人员等）隔离开来。在机器学习实验中，当使用重采样并为不同重复使用不同的数据子集时，要确保比较学习算法时，它们都使用相同的重采样子集，否则准确率的差异不仅取决于算法，还取决于不同的子集。为了仅测量算法导致的差异，重复运行中的不同训练集应相同，这就是区组化的含义。