首先,我们要明确一个概念,就是“严重bug”。这6个维度,有很多都和严重bug有关。严重bug指的是项目中,严重性是1级和2级的bug。注意,并不是优先级,而是严重性。严重性1级是“block”,指程序无法正常运行或者是测试无法正常进行,随便点两下,就报错;2级是major,指功能的各种错误,总之是用户不可接受的错误。3级大多是文案或者是易用性的问题,用户可以接受少量这种类型的bug。
好,下面开始讨论那六个维度,我会说明计算方法,以及它们的战略意义。
1、严重bug数 / 测试用例数
这个维度代表了一个项目的严重bug数量是否正常,让测试用例参与计算,是为了平衡规模不同的项目的数据。
2、第三轮测试出现的严重bug数 / 严重bug总数
目前我们的测试过程模型是“三轮测试”,三轮的目标分别是:发现bug、验证bug、稳定回归。如果在第三轮回归的时候,还出现大量严重bug,那肯定是不正常的,也会对质量构成巨大风险。这个数字应该要控制在一个很低的水平。
3、被reopen的严重bug / 严重bug总数
reopen指开发fix后,测试验证不通过,或者是已经close的bug又复发。这个维度也应该被控制在一个很低的水平,如果偏高,说明开发修复bug的效率偏低,代码不稳定,发布后出现bug的几率增加。
4、第二轮测试用例执行通过率
因为第二轮的目标就是修复bug,所以如果第二轮结束的时候,严重bug全部被修复,并且第三轮没有出现新的严重bug,那么可以说项目的质量是非常稳定的。这里判定第二轮用例通过与否的标准,就是看第