5、即时缺陷预测模型的实证分析

即时缺陷预测模型的实证分析

1. 实验设置

1.1 研究问题

• RQ1 ：即时缺陷预测方法在自动驾驶项目中的表现如何？
  • 为回答此问题，我们比较了机器学习算法和一种先进方法的性能。使用的算法包括随机森林（RF）、梯度提升决策树（GBDT）、逻辑回归（LR）和XGBoost，同时也测试了先进的JITLine方法的性能。
• RQ2 ：影响在RQ1中表现良好的模型性能的因素有哪些？
  • 基于RQ1的实验结果，我们通过对（1）输入数据和（2）预处理进行敏感性分析来确定影响模型性能的因素。
• RQ3 ：自动驾驶项目中即时缺陷预测的重要特征有哪些？
  • 我们使用了14个变更级别的特征，但尚未确定哪些特征对缺陷预测性能有显著影响。因此，我们使用Shapley可加解释（SHAP）技术来识别重要特征。

1.2 数据集

• 项目选择 ：
  • 使用关键词“self - driving”和“autonomous driving”从GitHub仓库收集数据，并按星数降序排序。
  • 选择项目的标准为：非教程、教育项目和非语言仓库；提交次数不超过10,000次。
  • 筛选后选择星数排名前2的项目，并克隆从创建日期