5、即时缺陷预测模型的实证分析

即时缺陷预测模型的实证分析

1. 实验设置

1.1 研究问题

• RQ1 ：即时缺陷预测方法在自动驾驶项目中的表现如何？
  • 为回答此问题，我们比较了机器学习算法和一种先进方法的性能。使用了随机森林（RF）、梯度提升决策树（GBDT）、逻辑回归（LR）和XGBoost这些在缺陷预测研究中广泛使用的算法，同时也检验了先进的JITLine方法的性能。
• RQ2 ：影响RQ1中表现良好的模型性能的因素有哪些？
  • 基于RQ1的实验结果，我们识别影响模型性能的因素。通过对输入数据和预处理进行敏感性分析来回答这个问题。
• RQ3 ：自动驾驶项目中即时缺陷预测的重要特征有哪些？
  • 我们使用了在即时缺陷预测研究中广泛使用的14个变更级特征，但尚未确定哪些特征对缺陷预测性能有显著影响。因此，我们使用可解释人工智能技术Shapley加性解释（SHAP）来识别重要特征。

1.2 数据集

• 项目选择 ：

  • 使用“自动驾驶”和“自主驾驶”关键词从GitHub仓库收集数据，按星数降序排序。
  • 选择项目的标准为：非教程、教育项目和非语言仓库；提交次数不超过10000次。
  • 筛选后选择星数