25、机器学习模型测试、选择与系统构建全面解析

机器学习模型测试、选择与系统构建全面解析

1. 模型测试与选择

1.1 数据集测试情况

在模型测试过程中，涉及多个数据集，具体如下：
- 数据集 1 ：基准模型在预测销售方面的销售周期表现。
- 数据集 2 ：在大国的表现。
- 数据集 3 ：在所有国家的表现。
- 数据集 4 ：在小国的表现。

Kate 构建了测试环境所需的代码，Jenn 和 Kate 对团队标记为候选的模型设计进行了测试。结果显示，团队认为可用的所有模型在数据集 3 上的表现大致相同，这与开发阶段的相对表现相似，但略有下降。然而，在数据集 4 上的表现差异很大，新闻组件在大国的预测能力比小国强很多。经过思考和白盒测试，发现原因是大国是资金充足、资源丰富的媒体的关注焦点，并且媒体自由度与新闻来源的预测能力之间也存在关系。基于这些洞察，团队根据每个国家的适用性选择了两个不同的模型，并构建了模型与国家的映射表，通过在 Jenn 的数据集上重新测试证明了其有效性。

1.2 测试过程中的问题与解决

Rob 指出测试过程中泄露了大量信息，但 Jenn 选择了三个新的小国和三个新的大国，构建了数据集 5 和数据集 6，并在这些数据集上测试了新的复合模型。结果令人满意，新的、未见过的数据集上的结果与数据集 2 和数据集 4 相似，且这次结果更好。Jenn 解释说，她选择了三个新闻影响力强和三个新闻影响力弱的国家来构建数据集 2 和数据集 4。

1.3 测试与选择的要点