15、机器学习测试与实验跟踪技术详解

机器学习测试与实验跟踪技术详解

1. 测试驱动开发与差分测试

在测试驱动开发中，目标是编写能通过设计好的单元测试的生产就绪代码。设计的单元测试对代码中模块和组件的覆盖率越高，就越能让我们安心地修改与机器学习生命周期中任何组件相关的代码。

差分测试是一种能帮助我们进行可靠编程和机器学习模型开发的技术。它尝试对软件的两个版本（基础版本和测试版本）使用相同的输入，然后比较输出。基础版本是已经验证并被认可的版本，测试版本则需要与基础版本对比，以确定其输出是否正确。差分测试还可以评估基础版本和测试版本输出之间的差异是否是预期的或可解释的。

在机器学习建模中，差分测试可用于比较同一算法在相同数据上的不同实现。例如，比较使用 scikit-learn 和 Spark MLlib 构建的模型。以下是一些在 scikit-learn 和 Spark MLlib 中都可用的算法及其类名：
| 方法 | scikit-learn | Spark MLlib |
| — | — | — |
| 逻辑回归 | LogisticRegression | LogisticRegression |
| 朴素贝叶斯 | GaussianNB, MultinomialNB | NaiveBayes |
| 决策树 | DecisionTreeClassifier | DecisionTreeClassifier |
| 随机森林 | RandomForestClassifier | RandomForestClassifier |