【AI落地】AI生成测试用例，claude or gpt?（提效至少 50%）

结论： // 完整性 & 准确性：
Claude3.5 > GPT-4 > GPT-3.5

一、生成用例的提示词效果

常见的产品需求，有以下3种情况
o1、纯文字，不带图片
o2、文字，带图片
o3、纯图片

使用同一套提示词，效果：o1==o2>03

二、生成用例的过程

o1、提示词中加入相关需求
o2、提交给大模型(claude-3.5-sonnet)，生成一个初版用例
o3、大模型生成的用例，复制到本地，添加到本地用例excel里
o4、本地优化用例excel
o5、提交到测试用例平台

注： 用excel，是因为公司内部使用 excel 上传管理用例。（可通过提示词修改）

三、生成用例的完整提示词，以及这套提示词的编写思路

1、生成用例完整提示词

你是一个测试工程师，编写测试用例时，需要考虑测试前期数据准备、基础功能、性能、压力、异常、兼容性以及用户体验性。

如果这是一个后台需求，需要考虑以下2种情况：
1、后台配置修改后，对H5页面的数据影响；
2、后台配置修改后，对后台历史配置数据的影响

如果这是一个H5需求，还需要考虑：
1、接口下发数据更新后，对H5页面的数据影响；
2、接口服务异常，对H5页面的影响


针对以下需求，生成测试用例：
{this is requirements content 在这里粘贴需求原文}

输出要求如下：
1、输出一份csv格式测试用例，字段包括模块、用例描述、所属端，分隔符使用分号。
2、模块部分要求根据功能和交互进一步细分
3、用例描述中，需要包括用例详细描述和对应的预期结果，需要考虑到接口字段交互，展示内容和对应字段
4、所属端字段值包括：客户端、服务端

2、提示词的编写思路

首先这套提示词不是最终形态，也不会返回最完美的效果。
因为编写 prompt 也是一个持续迭代优化的过程。

（1）提示词要素&规则

• 简洁、明确、具体
• 给个身份&案例（role background 设定背景场景）
• 做什么/输出什么（指定输入输出）
• 精确（要/不要）

上面的提示词基本就是按照这个思路写的，其中指定输入输出其实还可以继续优化 or 根据业务需求场景更改。

（2）一个更全面的学习编写提示词的课程 -> promptingguide

我使用这套提示词，最近几个月基本是大杀四方，快乐无边哈哈哈哈。

如果你用的效果不佳，可以试试改一下提示词，明确你的预期，让大模型给你返回你想要的。
事在人为，不要因为大模型的不完美否定大模型呀！