Evaluating Large Language Models on Non-Code Software Engineering Tasks

论文主要内容与创新点总结

一、主要内容

1. 研究背景与目标
   大型语言模型（LLMs）在代码理解和生成任务中表现突出，但在非代码软件工程（SE）任务（如需求分析、问题分类、工作量估算等）中的效果尚未被充分探索。本文旨在建立首个全面的评估基准，系统分析LLMs在非代码SE任务中的表现。

2. SELU基准的构建

   • 提出“软件工程语言理解”（SELU）基准，包含17个非代码任务，覆盖分类、回归、命名实体识别（NER）和掩码语言建模（MLM），数据来源包括代码仓库、问题跟踪系统和开发者论坛等。
   • 任务示例：判断需求是否为功能性、估算任务工作量、检测文本中的不文明行为等。

3. 实验设计与模型评估

   • 微调22个开源LLMs（如BERT、Llama 3.2、CodeLlama等），涵盖编码器、解码器和编解码器架构，参数规模从60.5百万到70亿。
   • 对比2个专有模型（GPT-4o、Claude 3.5）和2个基线模型（TFIDF+XGBoost、FastText）。
   • 评估指标包括F1-macro、SMAPE、F1-micro和准确率，采用贝叶斯符号秩检验进行统计分析。

4. 关键发现