目前互联网测试中,几乎所有团队、所有测试人员都在做自动化测试。但要评价自动化测试实现的优劣,就需要拿具体的数据来说话了。究竟自动化测试的效果如何呢?自动化测试有没有真正发挥出来其作用,又如何来评价一个团队自动化测试工作做得好坏呢?以下就跟大家分析一下自动化测试实现的优劣。
一、背景
从自动化测试方法论层面来说,之所以要实现自动化测试,大致有以下几个方面的原因:
1、提升测试效率
2、提升测试覆盖度,包括深度和广度
3、提升测试发现问题后的解决效率
4、补充手动测试无法覆盖/不易覆盖的场景
以上是一些实现自动化测试方向性的指导原则,但要评价自动化测试实现的优劣,就需要拿具体的数据来说话了。下面就自己的一点经验,来说说自己对自动化测试优劣的一些体会,不足之处,欢迎大家交流指正。
二、评价自动化测试优劣的常见指标
互联网公司中,由于绝大多数团队都在重点攻克自动化测试,因而每个团队都指定了相应的评价指标。虽然各个公司,各个团队对指标的侧重不同,但几乎都会关注如下指标。
1、自动化运行通过率/成功率
这里排除了代码bug导致的失败。为了避免自动化运行经常失败,大部分团队都会将自动化运行通过率作为一项重要指标,来评判不同模块/业务线自动化实现的好坏。还将这个指标设置一定的阈值,例如,经历过的有个团队要求自动化运行成功率要大于90%+