蜕变测试和对抗性测试策略在AI系统测试中的应用

本文链接：https://blog.youkuaiyun.com/software_test010/article/details/146475327

📝 面试求职： 「面试试题小程序」，内容涵盖测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试，命中率杠杠的。（大家刷起来…）

📝 职场经验干货：

软件测试工程师简历上如何编写个人信息（一周8个面试）

软件测试工程师简历上如何编写专业技能（一周8个面试）

软件测试工程师简历上如何编写项目经验（一周8个面试）

软件测试工程师简历上如何编写个人荣誉（一周8个面试）

软件测试行情分享（这些都不了解就别贸然冲了.）

软件测试面试重点，搞清楚这些轻松拿到年薪30W+

软件测试面试刷题小程序免费使用（永久使用）

探索这些创新的测试策略，如何帮助AI系统发现潜在的缺陷，并使其为应对不可预测的真实场景做好准备。

“归根结底，测试AI系统不仅仅是为了发现缺陷；更重要的是为我们的模型应对现实世界中的不可预测性做准备。”

AI迅速在技术领域引起了轰动，尤其是大规模语言模型（LLM）在这场变革中处于领导地位。但当我们构建AI驱动的应用时，质量依然至关重要。

测试AI系统的一个关键方面是处理可能决定应用成败的意外场景。由于这些模型的规模庞大，全面测试所有可能性是不现实的。因此，聚焦边缘案例（edge case）对于降低不确定性风险至关重要。

我们可以将边缘案例比作派对上的不速之客：必须提前做好准备，否则局面可能迅速失控。

测试方法

传统方法如边界值分析（boundary value analysis）、等价类划分（equivalence partitioning）或空值测试（empty value testing）可以发现边缘案例。但对于AI系统测试，还有更有效的方法。

本文将重点介绍两种可能你没有听说过的全面测试技术：蜕变测试（metamorphic testing）和对抗测试（adversarial testing）。它们可以帮助你发现非确定性系统的边缘情况。非确定性系统是指难以确定预期输出且行为不可预测的系统，LLM通常就是这样。

蜕变测试

蜕变测试是一种验证系统行为的技术，用于难以或无法预测给定输入对应精确输出的场景。与其依赖预定义的预期输出，蜕变测试关注于识别输入和输出之间的关系，这些关系被称为蜕变关系（MRs）。这些关系充当逻辑规则或属性，当输入发生变化时应保持有效。通过比较生成的输出，测试人员可以验证系统是否与定义的MR保持一致。

例如，在AI输出的常见情况中，如果没有预期结果，我可以生成两个输入，获取对应的两个输出，然后基于一个用户定义的属性进行比较，这个属性就是MR。

在蜕变测试中，你可以为每个输入使用多个MR。例如：

• 通过不同的常见属性将输入1转换为输入2。
• 基于这些输入生成两个输出，并比较它们是否符合这些关系。

为了提高测试覆盖率，尽量包含尽可能多的MR，并创建多个输入输出对进行彻底测试。

这张图展示了被测系统（SUT）的蜕变测试过程：

蜕变关系的识别

识别有效的MR对于成功进行蜕变测试至关重要。

为了识别MR，你需要找到输入和输出之间的逻辑或预期联系，这种联系在输入以某种方式发生变化时应该仍然有效。我们会测试：如果你稍微改变输入，输出应该如何响应？

例如，在电商网站的推荐系统中，如果用户A对产品X给出了5星评价，用户B也对产品X给出了5星评价，那么这两个用户应该收到相同的产品推荐。在这种情况下，两个用户之间的共同因素是评分，这个评分即为MR。

以下是不同模型类型可能的MR示例：

模型类型	变换关系	描述	测试示例
文本生成	同义词替换	使用同义词时，模型应产生相似的输出	输入1: “讨论社交媒体的利弊。” 输入2: “审视在线沟通平台的优缺点。”
文本生成	顺序保持	当输入以某种方式修改时，事件、步骤或信息的顺序应保持一致	输入1: “写一篇关于海滩的一天的短故事，从早晨到晚上。” 输入2: “写一篇关于海滩的一天的短故事，从晚上到早晨。”
文本生成或图像生成	否定	否定输入中的关键词应产生相反的情感或意义	输入1: “食物很好吃。” 输入2: “食物不好吃。”
图像生成	添加或移除对象	在提示中添加或移除对象应导致图像中出现或消失该对象	输入1: “街上的一辆车。” 输入2: “街上的一辆车和一辆自行车。”
图像生成	视角或角度变化	改变输入的视角（视点）应导致生成图像角度的相应变化	输入1: “城市的鸟瞰图。” 输入2: “城市的侧面图。”
语音生成	语速变化	改变语音输入的速度应产生较慢或较快的语音输出，而不改变内容	输入1: “慢速说: 你好，你好吗？” 输入2: “快速说: 你好，你好吗？”
语音生成	口音变化	指定不同的口音应产生对应的语音，而不影响内容	输入1: “用美国口音说你好。” 输入2: “用英国口音说你好。”
多模态（文本加图像）	文本依赖的对象变化	修改输入中的特定文本应只改变生成图像中的相应对象	输入1: “生成一张蓝色猫的图像。” 输入2: “生成一张红色猫的图像。”

要定义有效的蜕变关系，可以考虑以下几点：

1. 深入理解模型： 掌握不同用例下的模型目的及预期行为
2. 明确逻辑预期： 在无法预测精确输出时，聚焦与模型目标和预期行为一致的逻辑结果
3. 熟悉训练数据： 理解LLM训练数据的关键特征，以便更好地识别其中的模式和关系

设计合适的输入

初始输入：首先向系统提供一个初始输入。这是你正在测试的第一个数据或场景。

初始输出：系统处理初始输入后，生成初始输出。

后续输入：根据已识别的关系，创建一个遵循蜕变规则的后续输入。

后续输出：系统根据后续输入生成新的输出。

示例测试提示：“街上停了一辆车”。我们可以通过多种方式修改这个提示，类似于自动化测试中的参数化。经过参数化后，提示变成：“一辆<车>停在了<街道>上”。然后，通过结合对象添加和否定的MR，我们得到：“街上既没有车也没有自行车停放。”

比较输出

最后，你需要比较输出1和输出2。根据你选择的MR，你应该期望输出之间有某些行为或相似性。如果输出没有表现出预期的行为，那么系统可能存在问题。例如，在电商网站的推荐系统中，我们应该根据评分接收到相似的产品推荐。

蜕变测试通常是自动化的，但最初手动进行测试有助于我们更好地理解AI系统以及它们如何响应不同的输入。具体来说，我们可以：

• 分析系统的工作方式
• 寻找输入与输出之间的模式和关系
• 检查异常和意外行为
• 理解系统的局限性和假设

尽管有多种自动化框架和提示生成器可用，我们仍需识别自己的独特边缘情况并将其添加到数据集中，以确保全面的测试并保证应用的可靠性。

探索性（人工测试）比较

自动化工具非常适合重复性或大规模的测试。然而，人工洞察力在变换测试中尤为重要，特别是在涉及创意、上下文、常识和情感时。

以下是人工分析LLM测试输入和输出的一些示例：

输出类型	测试示例	人工比较方法
基于文本的输出	输入1: “写一篇关于1944年6月至12月的二战博客” 输入2: “讲述1944年间的二战” 比较结构不变的情况下是否有逻辑上的变化。	阅读两个输出评估意义，检查生成输出中的语义一致性检查事实一致性检查两个输出的语气是否相同
基于图像的输出	输入1: “生成一张红色汽车在森林中的图片” 输入2: “创建树木环绕的深红色汽车图片”	视觉上评估输出的变化一致性检查上下文是否合适：两张图像都应包含一辆红色汽车和森林场景
跨模态输出比较（多模态测试）	文本到图像：“一只猫坐在沙发上”与“一只狗坐在沙发上。”	比较不同模态（文本、图像、语音）之间的一致性，检查输入和输出的一致性检查视觉变化和物体呈现的一致性
处理边缘情况和不常见输出场景	输入1: “房间里有三个人。” 输入2: “房间里有一百个人。” 输入1："他很开心" 输入 2："他既开心又悲伤"	评估极端值或不常见场景的输出，检查模型是否妥善处理它们检查模型是否能恰当处理相互矛盾的输入，并在输出中合理体现这些矛盾检查输出是否能恰当地反映出情感