文章总结与翻译
一、文章主要内容
本文聚焦大型软件项目中人工缺陷分类(Bug Triaging)效率低、一致性差的问题,提出一种基于指令微调的项目专属大型语言模型(LLM)解决方案,核心内容如下:
- 研究背景:人工缺陷分类易导致缺陷反复分配(Bug Tossing),增加维护成本与修复延迟;现有方法分为文本分类(依赖文本特征,易受噪声和上下文窗口限制)和图模型(依赖复杂图构建,计算成本高、对稀疏链接敏感)两类,均存在需大量重训练和特征工程的局限。
- 数据集构建:基于EclipseJDT(2007.11-2015.11,约2万条缺陷报告)和Mozilla(1999.6-2021.2,约12万条缺陷报告)项目,按NCGBT方法过滤(移除解决缺陷少于10个的开发者),并转换为JSONL对话格式(包含System、User、Assistant三部分,分别定义模型角色、输入缺陷标题与描述、输出目标开发者),按8:1:1划分训练/验证/测试集。
- 模型与训练:以8B参数的DeepSeek-R1-Distill-Llama-8B为基础模型,采用4位NF4量化减少计算资源消耗,通过LoRA适配器(作用于q_proj、k_proj等Transformer投影模块,超参数为rank=16、α=16、dropout=0.0)进行参数高效微调;训练使用交叉熵损失,配置为批次大小2(梯度累积4步,有效批次8)、最大步数500、学习率2×10⁻⁴等。
- 推理策略:采用候选约束解码(C
订阅专栏 解锁全文
1314



被折叠的 条评论
为什么被折叠?



