Guidelines for Empirical Studies in Software Engineering involving Large Language Models

文章总结与翻译

一、文章主要内容

本文是一项社区协作成果，聚焦软件工程（SE）领域中涉及大型语言模型（LLMs）的实证研究，旨在解决LLMs的非确定性、训练数据不透明、架构持续演进等特性给研究可复现性和可重复性带来的挑战，核心内容可分为以下三部分：

1. 研究范围界定

• 目标领域：明确以软件工程为核心，区别于医疗等其他领域的LLM研究指南（如医疗领域的TRIPOD-LLM），针对SE实证研究方法更广泛的特点定制内容。
• 聚焦场景：仅覆盖LLMs的自然语言用例，暂不包含多模态基础模型；关注LLMs对SE研究（如数据收集、处理）和SE实践（如AI辅助开发工具）的直接支持，排除LLM在研究设计、论文写作等间接辅助场景。
• 目标受众：主要面向规划、开展和报告LLM相关SE实证研究的研究者，同时可为论文评审者提供参考。

2. LLM相关SE实证研究类型 taxonomy

将LLM在SE实证研究中的应用分为7类，每类均包含定义、SE领域案例、优势与挑战，具体如下：

研究类型大类	具体类型	核心描述
LLMs作为软件工程研究者工具</