2、自然语言处理与数据科学中预测过程的评估方法

自然语言处理与数据科学中预测过程的评估方法

1. 核心问题与方法概述

在自然语言处理（NLP）和数据科学领域，预测过程的有效性、可靠性和显著性评估至关重要。传统机器学习研究中，这些问题常通过探索性数据分析和描述性统计来解决。而我们采用基于模型的统计测试方法，将机器学习模型的预测和性能评估分数作为广义加法模型（GAMs）和线性混合效应模型（LMEMs）等可解释机器学习模型的训练数据。

以下是我们关注的三个核心问题：
- 有效性 ：机器学习模型是否预测了它声称要预测的内容？
- 可靠性 ：在不同元参数设置下训练的同一模型，其性能评估的一致性如何？
- 显著性 ：两个模型评估结果之间的观察差异是由偶然因素导致的可能性有多大？

2. 有效性评估

有效性的判断并非简单的预测准确性。例如，在心理测试的测量理论中，“如果一个属性存在，并且该属性的变化会导致测量结果的变化，那么测试对于测量该属性是有效的”。在分类问题中，通过准确预测类别标签实现“测量结果的变化”，从而推断“属性的变化”。但这种定义并不足以确定有效性，以专利数据的跨语言信息检索（CLIR）问题为例：
- 专利CLIR的训练和测试相关性标签通常通过其他专利的引用自动创建。
- 某些机器学习模型定义专利对的领域知识“属性”或特征，以及检索分数特征，以学习对相关文档进行排名。
- 然而，将专利引用作为特征纳入学习排名模型可能会获得近乎最优的排名结果，但这可能违反科学哲学中避免循环性的原则。

为解决这个问题，我们开发了一种基