Large Language Models in Thematic Analysis: Prompt Engineering, Evaluation, and Guidelines for Qu...

文章核心总结与创新点

一、主要内容

该研究聚焦大型语言模型（LLMs）在定性研究的主题分析（TA）中的应用，针对软件工程（SE）领域定性研究的需求，以Braun和Clarke的反思性主题分析框架为基础，系统探索了LLMs在TA第2-5阶段的表现。

1. 研究背景：LLMs在定性数据分析中展现出潜力，但当前缺乏可复现的集成方法，且对其输出质量的系统性评估不足，存在透明度低、模型范围窄、方法严谨性欠缺等问题。
2. 研究设计：
   • 数据集：15份关于软件工程师幸福感的半结构化访谈转录文本（177页），含人类研究者预编码结果作为对照。
   • 模型选择：测试ChatGPT 03 mini、GPT-4o、Gemini 2.5 Pro、Claude 4 Sonnet四种主流LLM。
   • prompt工程：迭代优化TA第2-5阶段的提示词（最终版本V8），明确角色、研究目标、编码原则等核心要素。
   • 评估体系：基于Braun和Clarke的质量标准设计两套评估量表，分别针对编码和主题质量，由4位跨领域专家进行盲评。
3. 核心发现：
   • 编码阶段：评估者61%的时间更偏好LLM生成的编码，认为其在清晰度、相关性上表现优异，但存在数据过度碎片化、遗漏潜在含义、主题边界模糊等问题。
   • 主题阶段：LLM生成的主题整体质量良好，但部分主题存在边界不清、过度碎片化的问题，需人类合并优化