19、计算机科学实验的关键要点与挑战

计算机科学实验的关键要点与挑战

1. 实验描述的重要性

在进行实验时，对结果的解读和理解与结果本身同样重要。当描述实验结果时，不能仅仅罗列枯燥的数据或一系列图表。需要对结果进行分析并解释其意义，选择典型结果并说明其典型性，对异常情况进行理论推测，展示结果如何证实或反驳假设，并使结果更具吸引力，也就是要为研究工作赋予动力。

实验只有经过精心描述才具有价值。描述应体现出实验的严谨性，要让读者清楚地知道实验考虑并解决了可能出现的问题，并且确实为假设提供了证实（或证伪）。一个关键原则是实验应具有可验证性和可重复性。如果结果是孤立事件，重复实验无法得到相同结果，或者其他研究人员无法重复该实验，那么这些结果就毫无价值。对假设和实验的描述应足够详细，以便他人能够进行某种形式的重复。否则，结果将不可信。

研究人员必须决定报告哪些结果。研究人员通常会有实验日志，记录实验的历史，包括设计决策、错误尝试以及结果，但这些日志中往往包含许多对他人没有兴趣的内容。有些结果是异常的，可能是实验误差或偶然事件的产物，因此不相关。但报告的结果应公平反映实验的结果。

如果一个测试在某些数据集上失败，而在其他数据集上成功，隐瞒失败结果是不道德的，失败的存在应与成功的存在一样显著地说明。同样，只报告一次成功可能会让读者怀疑这是否只是偶然。

并非所有实验都与假设直接相关。例如，一个实验可能用于在解决问题的可能方法之间进行初步选择；其他实验可能没有定论或走入死胡同。然而，让读者知道进行了这些实验可能会很有趣，比如了解为什么选择了某种方法。对于这类实验，如果细节不太可能引起兴趣，通常简要概述实验和结果就足够了。

论文中报告的实验结果可能只代表了研究项目中所做工作的一