22、可视化研究评估：领域专家与长期案例研究

可视化研究评估：领域专家与长期案例研究

在可视化研究领域，评估是一个至关重要却又复杂的环节。合理的评估方法不仅能确保研究成果的有效性和可靠性，还能推动可视化技术的不断创新和发展。本文将探讨领域专家参与的实证评估以及长期案例研究在可视化系统评估中的应用。

领域专家参与的实证评估

可视化研究中的评估并非易事，涉及多个方面。大多数可视化研究人员虽然意识到评估的必要性以及不同形式的评估方法，包括用户研究，但对于确保用户研究结果有效性所需的程度，并非所有人都清楚。

在可视化社区中，对于“用户研究”的定义存在差异。许多研究人员和评审人员通常将受控实验室实验称为用户研究，而另一些人则认为任何涉及实际用户的实证研究都是用户研究。这两种定义不仅不同，而且重叠部分有限。

受控实验室实验通常在大学环境中进行，参与者多为学生和大学工作人员。然而，在许多应用中，可视化工具或系统是为特定用户群体设计的，这些用户对要可视化的数据和要执行的任务有更深入的了解。虽然可以设计以领域专家为参与者的受控实验室实验，但这种方法并不常用，原因如下：
1. 设计复杂场景的刺激集困难 ：为复杂场景设计一套合适的刺激集并非易事，需要考虑众多因素。
2. 用户专业知识的差异产生混淆效应 ：不同专家的专业知识水平存在差异，这可能会对实验结果产生干扰。
3. 用户认为在受控环境中执行任务耗时或有屈尊之感 ：专家们可能觉得在受控环境下执行任务不够自然，且耗费时间。

与受控实验室实验或半受控众包研究不同，与领域专家进行的评估难以重现，因为其他人很难复制相同的