Software Testing with Large Language Models: An Interview Study with Practitioners

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）在软件测试中的实际应用，通过对15名不同角色、行业和资历的软件测试专业人员进行半结构化访谈，结合扎根理论的主题分析方法，探究了LLMs在软件测试工作流中的使用现状、优势、挑战，并提出了基于实践者经验的初步使用指南。

1. 核心研究背景：LLMs在软件测试中应用日益广泛（如测试用例生成、自动化脚本编写、文档撰写等），但当前使用多依赖非正式实验和社区经验，缺乏结构化指导，且存在幻觉、推理不一致、数据隐私等问题，亟需基于实际应用的规范框架。
2. 关键研究发现：
   • 主要应用场景：测试用例/场景创建（8/15参与者）、测试自动化（7/15）、学习与研究（7/15）、测试文档编写（5/15）、测试执行辅助（5/15）等，高阶应用（如日志分析、测试指标评估）仍处于早期阶段。
   • 核心优势：提升时间效率、增强生产力、扩大测试覆盖范围、支持学习培训、减少重复工作等。
   • 主要挑战：生成内容的准确性与幻觉问题（9/15）、测试数据隐私安全风险（7/15）、提示词设计能力不足、过度依赖AI导致的认知退化、组织层面的工具整合阻力。
3. 核心产出：提出五步法LLM测试应用指南——明确测试目标与提示词结构、应用提示词工程技术、迭代优化提示词、评估并整合LLM输出至测试流程、持续学习与知识共享。