openai-cookbook单元测试：多步骤提示生成单元测试技术
复杂任务如单元测试编写可通过多步骤提示（Multi-step Prompt）提升效率。与单步提示不同，多步骤提示将GPT生成的中间结果反馈到后续提示中，帮助模型进行推理规划后再执行任务。本文基于examples/Unit_test_writing_using_a_multi-step_prompt.ipynb，详解如何通过三步骤提示生成Python单元测试。
技术原理与工作流程
多步骤提示生成单元测试的核心是将测试生成拆解为解释-规划-执行三个阶段，形成闭环优化流程。这种方法特别适用于需要逻辑推理的场景，如边界条件分析、测试用例设计等。
核心步骤解析
-
代码解释阶段
通过提示词引导模型分析目标函数的实现逻辑，包括输入处理、核心算法、返回值等关键要素。例如对pig_latin函数，模型会自动识别其元音处理规则、字符串分割逻辑等细节。 -
测试规划阶段
基于代码解释结果，模型生成测试场景清单，涵盖正常输入、边界条件、异常情况等。当初步规划场景不足时，系统会自动触发补充提问，确保测试覆盖率。 -
代码生成阶段
根据测试规划，使用指定测试框架（如pytest）生成可执行测试代码，并内置语法校验机制，自动重试生成错误的代码块。
实现案例：pig_latin函数测试生成
以下以字符串转换函数pig_latin为例，完整展示多步骤提示的测试生成过程。
目标函数分析
待测试函数源码如下，其功能是将英文文本转换为猪拉丁文（Pig Latin）：
def pig_latin(text):
def translate(word):
vowels = 'aeiou'
if word[0] in vowels:
return word + 'way'
else:
consonants = ''
for letter in word:
if letter not in vowels:
consonants += letter
else:
break
return word[len(consonants):] + consonants + 'ay'
words = text.lower().split()
translated_words = [translate(word) for word in words]
return ' '.join(translated_words)
多步骤提示执行过程
步骤1：函数逻辑解释
系统首先生成结构化解释报告，示例输出如下：
- 外层函数
pig_latin接收文本输入，执行以下操作：- 将输入文本转为小写并按空格分割为单词列表
- 对每个单词调用内部
translate函数进行转换 - 拼接转换后的单词列表并返回结果
- 内部函数
translate实现核心转换逻辑：- 以首字母是否为元音（aeiou）为判断条件
- 元音开头单词直接添加"way"后缀
- 辅音开头单词需移动前缀辅音簇至词尾后添加"ay"
步骤2：测试场景规划
模型自动生成的测试场景清单包含10类核心用例：
| 测试类型 | 示例输入 | 预期输出 |
|---|---|---|
| 元音开头单词 | "apple" | "appleway" |
| 辅音开头单词 | "hello" | "ellohay" |
| 多单词转换 | "hello world" | "ellohay orldway" |
| 混合大小写 | "Hello World" | "ellohay orldway" |
| 特殊字符 | "hello!" | "ellohay!" |
| 数字输入 | "123test" | "123testay" |
| 空字符串 | "" | "" |
| 纯元音单词 | "aeiou" | "aeiouway" |
| 纯辅音单词 | "bcdf" | "bcdfay" |
| 长辅音簇 | "strength" | "engthstray" |
当系统检测场景数量不足时，会自动补充边缘场景提问："In addition to those scenarios above, list rare edge cases..."
步骤3：测试代码生成
最终生成的pytest测试代码如下，包含参数化测试用例和断言逻辑：
# imports
import pytest
# function to test
def pig_latin(text):
def translate(word):
vowels = 'aeiou'
if word[0] in vowels:
return word + 'way'
else:
consonants = ''
for letter in word:
if letter not in vowels:
consonants += letter
else:
break
return word[len(consonants):] + consonants + 'ay'
words = text.lower().split()
translated_words = [translate(word) for word in words]
return ' '.join(translated_words)
# unit tests
@pytest.mark.parametrize('text, expected', [
('hello world', 'ellohay orldway'), # 基础功能测试
('Python is awesome', 'ythonpay isway awesomeway'), # 多单词测试
('apple', 'appleway'), # 元音开头测试
('', ''), # 空输入测试
('123', '123'), # 非字母输入测试
('Hello World!', 'ellohay orldway!'), # 大小写混合+标点测试
('The quick brown fox', 'ethay ickquay ownbray oxfay'), # 多辅音测试
('a e i o u', 'away eway iway oway uway'), # 纯元音测试
('bcd fgh jkl mnp', 'bcday fghay jklway mnpay'), # 纯辅音测试
])
def test_pig_latin(text, expected):
assert pig_latin(text) == expected
高级特性与最佳实践
动态优化机制
该技术内置多重保障机制确保测试质量：
-
场景数量校验：通过统计 markdown 列表项数量确保测试场景覆盖度，当检测到场景数小于阈值（默认7个）时自动触发补充提问。
-
代码语法校验：使用
ast.parse()验证生成代码的语法正确性，失败时自动重试生成，最多支持3次重试（可通过reruns_if_fail参数配置）。 -
流式输出优化：采用流式响应模式，在生成大篇幅测试代码时可渐进式展示结果，提升用户体验。
参数调优建议
| 参数名 | 作用 | 推荐值 |
|---|---|---|
approx_min_cases_to_cover | 最小测试场景数阈值 | 10-15 |
temperature | 生成随机性控制 | 0.3-0.5（测试生成需低随机性） |
execute_model | 代码生成模型 | gpt-4（复杂场景）/gpt-3.5-turbo（简单场景） |
应用扩展与局限性
适用场景
- 复杂业务逻辑测试：如支付流程、数据转换算法等需要多场景覆盖的功能
- API集成测试：结合 OpenAPI 规范自动生成接口测试用例
- 单元测试补全：为遗留系统快速生成基础测试套件
局限性与解决方案
-
模型依赖风险：低能力模型可能生成错误测试逻辑
→ 解决方案：使用gpt-4及以上模型，或结合代码审查流程 -
极端边界场景遗漏：如 Unicode 字符、超大输入等特殊情况
→ 解决方案：在提示词中显式指定领域特定边界条件 -
测试有效性局限：生成的测试仅验证"是否符合函数逻辑"，无法判断"函数逻辑是否正确"
→ 解决方案：结合人工评审或需求文档进行验证
总结与展望
多步骤提示技术为单元测试自动化提供了新思路，尤其在测试场景设计和代码生成环节展现出显著优势。通过本文介绍的三阶段流程，开发者可快速生成高质量测试代码，将精力集中在核心业务逻辑上。
下一步探索方向
- 多模型协作：结合代码理解模型（如 CodeLlama）提升复杂函数的解释准确性
- 领域知识库：构建特定领域的测试场景模板库，如金融、医疗等行业的合规测试
- 持续优化闭环：将测试执行结果反馈给生成系统，实现测试质量的持续迭代
完整实现代码与更多示例可参考项目仓库：examples/Unit_test_writing_using_a_multi-step_prompt.ipynb
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
