如何衡量验证的进展?
依靠完善的验证计划test plan和对应的功能覆盖率coverage。
用验证计划和对应功能覆盖率的结果来指导验证的进展,这样才能站在更高的抽象层次上看待验证。
根据功能覆盖率结果来思考如何提高功能覆盖率,并在功能覆盖率达标或者止步不前时思考验证计划本身。
道法术
验证人员的最重要工作是制定完善的验证计划,这是验证之道。
搭建验证环境和编写对应验证计划的覆盖率代码,可以认为是法。
编写测试用例,就是术了。
覆盖率分类
代码覆盖率,根据不同仿真工具有不同分类,比如S的line/condition/togggle/fsm,C的block/expression/toggle/fsm。
功能覆盖率,也被称为规范spec覆盖率。spec通常包括features,boundary/corner case,error injection。
漏洞率是另一个指标,指项目追踪期间新漏洞出现的概率。
断言覆盖率,cover property,会检查property是否至少成立一次,不同于assert要求property一直成立。
tips
收集覆盖率数据开销很大,要控制收集范围。
保存给出高覆盖率的随机种子,以备回归测试用。
要注意思考,漏洞是根据验证计划特意检查的,还是说完全出乎意料地随机撞见的?如果是后者,说明验证计划仍需完善。
编写覆盖组及设置仓位
覆盖组触发可以直接调用sample函数,也可以用阻塞表达式wait或者@。
bin设置时用$可以表示范围表达式的上边界或者下边界,用wildcard来通配。
条件覆盖率用iff或start/stop来控制。
翻转覆盖率用=>表示。
ignore_bins表示忽略bins,illegal_bins表示不合法bins。
cross里可以用binsof和intersect来选