前篇文章介绍了自动化用例并非“一次编写,永久有效”,而是需要不断维护的原因。
并且介绍了提升自动化用例稳定有效的策略,提出测试数据多样化、测试模块化、动态断言以及定期进行测试review的观点。
本文分享作者近段时间总结的一些用例治理经验,本文主要探讨稳定失败用例和不稳定成功用例的治理手段。
用例失败的原因
分析原因之前,先剖析用例的组成。
- 前置准备
测试数据准备、测试环境准备(清理测试数据、复原测试环境、Mock等)
- 测试流程编排
通常是一个测试场景,包含多步服务请求流程。例如:淘宝购物场景,包含选择商品、下单、支付流程。那么这个场景的用例编写至少包含2步服务请求。
理论上测试流程长度与稳定性成反比,因此流程中的单个请求的测试稳定性至关重要。
- 测试断言
断言是我们的测试预期,断言内容包含请求响应断言、DB断言以及出口报文断言。
断言颗粒度可以分为全局断言、局部断言。
全局