《蜕变测试技术综述》笔记

最新推荐文章于 2024-12-16 16:47:51 发布
最新推荐文章于 2024-12-16 16:47:51 发布
阅读量588 收藏
点赞数 1
分类专栏： reading
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43975374/article/details/106898940
版权

《蜕变测试技术综述》笔记

  • oracle问题，即测试人员很难构造程序的预测输出，以确定执行结果与期望结果是否相同。
  • 测试用例集可靠性问题，是指对于某个程序，很难构造一个可靠的测试用例集，使得程序的正确性可以由其中所有测试用例的正确执行来保证。
  • 为了解决oracle问题,澳大利亚斯威本科大学的 Chen等人提出了蜕变测试的概念。该方法认为测试 过程中没有发现错误的测试用例（成功的用例）也同样蕴涵着有用的信息，它们可以用来构造新的用例以 对程序进行更加深入的检测,蜕变测试技术通过检查 这些成功用例及由它们构造的新用例所对应的程序 执行结果之间的关系来测试程序,无需构造预期输出。
解决AI系统”测不准“的问题：蜕变测试
Criss@陈磊
03-01 327
在被测试的AI模型的处理逻辑之上我们找到了蜕变关系MR，那么我们将测试用例1的输入1通过一种参数扰动的处理，得到了输入1‘{I1’， I2’，…如上给出的全部例子都是基于一种有效的测试用例找到了对应的蜕变关系，其实这种蜕变关系也不一定非要从功能正确的测试用例开始的，我们也可以通过一些反向的测试用例找到对应的蜕变关系，从而设计出很多的测试用例，假设我们前面例子中的一个基于深度学习进行图像分类的模型，通过读入照片识别照片中是不是一只猫，那么我们可以输入一下不是猫的图片，然后基于这个蜕变关系，从完成测试。
蜕变测试概述及典型案例
weixin_30782331的博客
09-21 1988
1、蜕变测试概述 程序的执行结果不能预知的现象在测试理论中称为“Oracle问题”，即预期结果不知道。 例如测试sin(x)函数时，sin270的预期结果并不知道，这时就无法验证当x=270 时程序执行的正确性。 Oracle问题是“软件测试中最困难的任务”，它导致测试人员只能选择一些可以预知结果的特殊测试用例进行测试，而不能完整有效地进行测试。 蜕变测试是一种特殊的黑盒测试方法，蜕变测试...
软件测试蜕变oracle,蜕变测试技术综述（完整版）.pdf
weixin_29767773的博客
04-04 250
ISSN1673—9418CODENJKYTA8andJournalofFrontiersof Science http：／／www．ceaj．orgComputer Technology1673—9418／2009／03(02)一0130—14DOI：10．3778／j．issn．1673-9418．2009．02．00...
蜕变测试
u013715234的博客
02-24 2017
一、定义 蜕变测试是一种特殊的黑盒测试方法。 蜕变测试（Metamorphic Testing，MT），依据被测软件的领域知识和软件的实现方法建立蜕变关系，利用蜕变关系来生成新的测试用例，通过验证蜕变关系是否被保持来决定测试是否通过。 **蜕变关系（Metamorphic Relation，MR）**是指多次执行目标程序时，输入与输出之间期望遵循的关系。 ...
metamorphic testing 蜕变测试介绍
the Blog of 等不到天亮丶等时光
01-01 5694
前言 可能会用到蜕变测试（metamorphic testing），所以这里就先记录一下吧。 此外，我认为自己的介绍是不完整的， 不全面的，有时候，我写博客只是为了粗略地记录一下自己需要记录的东西，加上写博客本身是一件耗费时间的工作，所以很难写的非常专业或者详细具体。 但是我写文章一直追求的都是：条理清晰，内容详尽。所以，尽量往这方面努力。 而且，以后应该不断扩充。不断修改自己的文章。 写作时间：...
[社招/校招面经] 平安/深信服/腾讯等面试问题及考察点总结
angela_12的博客
02-21 2580
个人背景介绍 本人本科双非，硕士985渣硕，18年12月底经历互联网寒冬，失业，然后开始整理工作，准备简历，投递，面试。 去大家最爱的牛客网，查了好多面经，确实都是应届生的面试问题，会考察： 基础知识，项目内容，论文，比赛等相关知识，以及代码能力，算法等，不同公司侧重不同。 但看得多了，确实感觉问题都差不多，虽然都看完了，但我心里还是没底，我还是不太清楚复习什么，可能东西太多了吧，想要年前(2.5...
黑盒测试--蜕 变 测 试
m0_62410106的博客
11-12 405
假设序列A共有m个字符，序列B共有n个字符， 如果A[m]==B[n]，那么A[1:m]和B[1:n]的最长公共子序列长度就是A[1:m-1]和B[1:n-1]的最长公共子序列长度+1；=B[n]，那么A[1:m]和A[1:n]的最长公共子序列长度就是MAX(A[1:m-1]和B[1:n]的最长公共子序列长度，A[1:m]和B[1:n-1]的最长公共子序列长度)。若字符串A和B的前面增加1个不相同字符，A’=aA, B’=bB，且a,b均不出现在A或者B中，那么： LCS长度不变。蜕变关系可能有多个。
蜕变测试（metamorphic testing）经典论文阅读 Compiler Validation via Equivalence Modulo Inputs
geoffrey00的博客
07-24 1567
Compiler Validation via Equivalence Modulo InputsBackgroundSome definitionsEMI in Practice: OrionEvaluationQuantitative descriptionQualitative examplesCurrent statisticsDiscussion 原文链接：https://www.cs.cornell.edu/courses/cs6120/2019fa/blog/equivalence-modul
什么是蜕变测试？
计算机科研杂货铺
03-07 1153
蜕变测试的科学定义是：识别被测软件所具有的蜕变关系（metamorphic relations），通过检查这些蜕变关系。需要注意的是，蜕变测试只是在一定程度上缓解软件的不可测性或者可测性不好的问题，而不能根本上解决这些问题。这里隐含着一种蜕变关系：由于后者限定了输入关键词car的属性，因此后者的搜索结果应该是前者的一个子集。对于这些近乎“不可测”的场景，传统意义的软件测试技术爱莫能助了，于是乎蜕变测试诞生了。然而，许多情况下，软件的期望输出并不是已知的，或者说非常难知道。蜕变测试，更是如此。
使用蜕变测试测（metamorphic testing）试您的机器学习算法
geoffrey00的博客
07-21 1414
Test your Machine Learning Algorithm with Metamorphic Testing前言The oracle problemMetamorphic testing参考文献 前言 测试机器学习和人工智能算法很困难。 事实上，一般来说，测试科学软件是很困难的，并且已经有一些关于这个更普遍主题的文献。 正如 Carver et al (2017)【1】 的介绍中所说。 科学软件的开发与更传统的商业信息系统的开发有很大不同，许多软件工程最佳实践和工具都从中汲取了灵感。 这些差
向你解释蜕变测试是什么
03-23
首先，很吸引人的结论：实验结果表明，蜕变测试与特殊用例测试之间是互补的，而且就蜕变测试的源测试用例言，随机测试用例在测试能力和效率上优于特殊测试用例。并且，随机测试用例是不需要给出期望输出的!具体过程是这样的：1.使用源测试用例来测试被　　首先，很吸引人的结论：实验结果表明，蜕变测试与特殊用例测试之间是互补的，而且就蜕变测试的源测试用例言，随机测试用例在测试能力和效率上优于特殊测试用例。并且，随机测试用例是不需要给出期望输出的!　　具体过程是这样的：　　1.使用源测试用例来测试被测对象，如果某一个用例引起了异常，则结束测试，报告测试未通过。　　2.对于每一个蜕变关系(metamorphicre
原始测试同理对蜕变测试效果的影响
06-28
蜕变测试（MT）旨在缓和Oracle（预期输出结果生成）问题。在MT中，测试人员把蜕变关系定义为利用可用测试用例（指原始测试用例）来产生新的测试用例（指衍生测试用例）的一种技术。
蜕变测试(MT)_追逐梦想的顾咏丰_新浪博客
Yongfeng's Blog
08-03 507
Metamorphic Testing 蜕变测试 --- 在软件测试中，2大问题一直深深地困扰着测试人员，他们就是：测试可靠性问题和测试预言问题 [2]。 第一个：测试可靠性问题，指的是我们找不到这样一个非常充分的测试集，来保证能够测试出程序的所有功能，从而证明源程序是无错的（We cannot find such adequate test suite to ensure the ...
知识图谱扩充｜蜕变测试｜蜕变关系
m0_57656758的博客
04-14 1890
蜕变测试（Metamorphic Testing，MT），依据被测软件的领域知识和软件的实现方法建立蜕变关系，利用蜕变关系来生成新的测试用例，通过验证蜕变关系是否被保持来决定测试是否通过。蜕变测试(metamorphic testing)是一种新型软件测试技术。要把蜕变测试这个概念讲清楚，不是一件容易的事情。蜕变关系（Metamorphic Relation，MR） 是指多次执行目标程序时，输入与输出之间期望遵循的关系。蜕变测试的科学定义是：识别被测软件所具有的。
黑盒测试和白盒测试_机器学习模型黑盒测试之蜕变测试
weixin_39598954的博客
12-15 527
点击上方蓝色字体，关注我们最近查阅资料了解到了蜕变测试理论，以及它在机器学习模型黑盒测试中的运用，于是收集整理和大家分享。　　提到软件测试，传统的测试方法就是比较程序预期输出和实际输出是否一致。但在很多情况下，被测程序的预期输出难以确定，难以确定执行结果与期望结果是否相同。蜕变测试(metamorphic testing)能够有效地解决此类问题的一种特殊的黑盒测试方法。蜕变测试理论　　蜕...
Metamorphic Testing About Image
一个科研人的技术博客
10-03 1047
本文将陈述蜕变测试中，将图像作为测试数据的蜕变测试。蜕变测试的核心的便是蜕变关系(Metamorphic Relations)。蜕变关系(MR)的构建是基于被测对象本身所拥有的性质。 如果蜕变前后测试结果满足蜕变关系，则未检测出被测对象的错误；如果不满足，则发现了被测对象的错误，也就是被测对象存在错误。 1.Deeptest: Automated testing of deep-neural-network-driven autonomous cars 该论文提出了几种蜕变关系： MR 1-1：将图像进行仿
AI测试：蜕变测试在模型算法测试中的实践
我的博客
12-16 1182
蜕变关系（Metamorphic Relations, MR）是一组预期的输入输出间的关系，即：一组与模型算法中多对输入和输出相关的属性，在多次执行目标程序时，输入与输出之间期望遵循的关系，常用来验证模型的稳定性和一致性。4.分析结果：分析模型输出，判断是否存在不符合蜕变关系的情况，如果有不符合的情况，进一步分析可能的原因，如数据分布、模型训练不足、特征工程问题等。蜕变测试的核心思想是利用已知的、可验证的输入输出关系（蜕变关系）来推断未知的输出结果，从而验证程序的正确性，
蜕变测试论文解读-动态推导似然蜕变属性支持常微分测试
wens17的博客
05-15 651
蜕变测试论文解读-动态推导似然蜕变属性支持差分测试1 文献来源2 论文解读2.1 主要工作3 KABU3.1 我的疑惑3.2 KABU的运行机制步骤一：指导步骤二：输入转换步骤三：程序执行步骤四：输出状态比较4 MDT5 论文总结+个人看法5.1 未来工作5.2 相关工作5.3 个人观点 1 文献来源 引用格式： F. H. Su, J. Bell, C. Murphy, G. Kaiser, “Dynamic Inference of Likely Metamorphic Properties to Su
[论文笔记]A Survey of Compiler Testing
Rac1ne的博客
12-21 1369
A Survey of Compiler Testing Chen, Junjie, Jibesh Patra, Michael Pradel, Yingfei Xiong, Hongyu Zhang, Dan Hao和Lu Zhang. 《A Survey of Compiler Testing》. ACM Computing Surveys 1, 期 1 (不详): 35. INTRODUCTION 编译器错误可能导致从正确的源代码生成不正确的二进制代码。编译器中的单个错误可以传播到基于它的任何应用程序
黑盒测试 蜕变测试
最新发布
03-27
<think>好的，我现在需要回答用户关于黑盒测试和蜕变测试的概念、方法、差异以及应用场景的问题。首先，我需要回忆和整理这两个测试方法的基本知识，然后比较它们的异同，最后举例说明它们的应用场景。 首先，黑盒测试。根据引用[2]，黑盒测试是第三方测试的主要方法，关注软件的功能性、易用性、容错性等，不需要了解内部结构。测试用例基于需求规格说明书，比如等价类划分和边界值分析。例如，测试登录功能时不看代码，只验证输入输出是否正确。 接下来是蜕变测试。用户提到的蜕变测试，我需要确认其定义和特点。蜕变测试主要用于处理测试预言问题，当预期结果难以确定时，通过检查多次执行的关系来验证正确性。例如，计算sin(x)和sin(π - x)的结果是否相等。这种方法不需要知道内部结构，属于黑盒测试的扩展，但更关注输入输出间的蜕变关系。 然后比较两者的差异。黑盒测试依赖于明确的预期结果，而蜕变测试通过关系验证，适合预言困难的情况。方法上，黑盒用等价类、边界值等，蜕变用蜕变关系生成用例。应用场景方面，黑盒适用于功能验证，蜕变适合复杂计算或算法测试，比如机器学习和科学计算软件。 需要确保引用的内容正确，比如引用[2]提到黑盒测试由第三方执行，引用[4]提到边界值分析。同时，要注意用户提供的引用是否有相关部分支持蜕变测试的内容，如果没有，可能需要依赖外部知识，但这里用户没有提供，所以可能需谨慎表述。 最后，生成相关问题时要围绕这两个测试方法的其他方面，比如如何设计用例、优缺点比较、与其他测试结合使用等，确保问题相关且有深度。</think>### 黑盒测试与蜕变测试的概念、方法、差异及场景 #### 1. 黑盒测试 **概念** 黑盒测试是一种基于软件外部功能的测试方法，无需了解程序内部结构，仅通过输入输出验证系统是否符合需求。其核心是检查功能是否符合用户期望，例如验证登录功能、数据提交逻辑等[^2][^4]。 **方法** - **等价类划分**：将输入划分为有效/无效类，例如测试年龄输入时，有效类（18-60岁）、无效类（<18或>60岁）。 - **边界值分析**：针对输入边界设计测试用例，例如输入范围$[1,100]$时，测试0、1、100、101等值。 - **场景法**：模拟用户操作流程，例如电商下单流程（登录→选商品→支付→订单生成）。 **应用场景** - 第三方验收测试时验证功能性需求。 - 需求变更后快速验证核心功能。 - 系统测试阶段检查模块间交互（如API接口测试）。 --- #### 2. 蜕变测试 **概念** 蜕变测试（Metamorphic Testing）通过定义输入输出间的“蜕变关系”解决测试预言（Test Oracle）问题。例如，计算函数$f(x)=\sin(x)$时，若输入$x$和$\pi - x$，应满足$f(x)=f(\pi - x)$，无需预先知道具体输出值。 **方法** 1. **定义蜕变关系**：例如数学运算的对称性、递增性等。 2. **生成衍生测试用例**：基于原始输入构造满足关系的输入。 3. **验证关系是否成立**：若关系被违反，则发现缺陷。 **应用场景** - **复杂计算场景**：如机器学习模型输出一致性验证（例如图像分类模型对旋转后图片的分类结果应一致）。 - **无明确预期结果的场景**：如科学计算软件中微分方程解的稳定性验证。 - **算法健壮性测试**：例如排序算法输入逆序后结果是否有序。 --- #### 3. 核心差异对比 | **维度** | **黑盒测试** | **蜕变测试** | |----------------|--------------------------------------|--------------------------------------| | **测试目标** | 验证功能是否符合需求 | 发现违反输入输出关系的缺陷 | | **依赖条件** | 需要明确的预期结果 | 依赖预定义的蜕变关系 | | **用例设计** | 基于等价类、边界值等静态规则[^4] | 基于动态衍生的输入输出关系 | | **适用场景** | 功能验证、验收测试 | 测试预言困难或计算复杂的场景 | --- #### 4. 典型应用示例 **黑盒测试案例** 测试计算器平方根功能： - 输入$4$，预期输出$2$（有效等价类）。 - 输入$-1$，预期提示“无效输入”（无效等价类）。 **蜕变测试案例** 测试图像压缩算法： 1. 原始输入：图像$A$，输出压缩后图像$B$。 2. 衍生输入：对$A$旋转90度得到图像$A'$，压缩后得到$B'$。 3. 蜕变关系：解压$B$和$B'$后的图像应视觉一致。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值