27、实证评估中的限制和有效性考虑

实证评估中的限制和有效性考虑

在自动化领域模型提取的过程中，实证评估是验证方法有效性和实用性的关键环节。本文将深入探讨实证评估中的内部有效性、构建效度和外部有效性，分析这些因素对评估结果的影响，并探讨如何确保评估结果的可靠性。

1. 内部有效性

内部有效性是指评估结果是否能够真实反映研究方法的效果。在自动化领域模型提取的评估中，内部有效性尤为重要，因为它直接影响我们对方法性能的理解。以下是内部有效性方面的几个关键点：

1.1 评估范围

评估过程中，我们仅考虑了个别需求陈述的上下文中提取的关系的正确性和相关性，而没有向专家展示整个提取的模型。这种做法的原因在于，展示整个模型可能会引入混淆因素，如布局和信息过载问题。具体来说，专家在面对整个模型时，可能会因为过多的信息而难以集中注意力，从而影响评估的准确性。

1.2 专家决策的影响

专家在评估时，可能会根据单个需求陈述的上下文做出不同的决策。例如，如果专家被呈现了整个提取的模型，他可能会对领域模型的抽象级别有不同的看法。因此，我们选择基于个别需求陈述进行评估，以减少这种潜在的偏差。

1.3 评估方法

为了确保评估的准确性，我们在访谈中涵盖了相当数量的需求（50个需求，代表了案例A的近三分之一），并根据被检查的不同关系之间存在的相似性和类比，交叉检查了专家的回应以确保一致性。这种方法有助于提高评估结果的可信度。

2. 构建效度

构建效度是指评估方法是否能够准确衡量所研究的现象。在自动化领域模型提取的评估中，构建效度涉及到如何衡量方法在实际应用中的表现。

2.1