我答“黑盒测试如何保证需求的覆盖度?”

51testing最新的一个问题，黑盒测试如何保证需求的覆盖度?

http://bbs.51testing.com/thread-106504-1-1.html

 

下面说说我的看法。

黑盒测试如何保证需求的覆盖度？首先我们要明确这里提到的需求到底是什么。在软件开发活动中，涉及到的需求有用户需求、系统需求、测试需求等。

用户需求：描述了用户使用产品必须要完成的任务，在软件开发活动中，属于最基本的需求。

系统需求：描述了软件设计人员、编程人员必须要完成的任务。系统分析员通过分析用户需求，把用户的需求转变成开发设计人员看得懂的系统需求。

测试需求：描述了软件测试人员必须要完成的任务。资深测试工程师通过分析系统需求，产生测试需求，作为测试活动的指导。

        写到这里，我猜想命题人的本意应该指的是上面提到的系统需求，但我的观点认为，黑盒测试应该保证的是测试需求的覆盖度，系统需求的覆盖度应该由测试需求保证。

具体到这个题目来讲，只要涉及到度量，都会要求规范。要度量需求，首先就必须保证需求本身是可度量的，这就要求需求必须明确、规范。

用户需求由最终用户提出，通常比较笼统，例如用户可能会这样描述其需求，

UR1 “能够上网缴电话费”

系统分析员的工作就是分析用户需求，把用户的需求转换成开发设计人员能够理解的系统需求。系统需求从技术层面上对用户需求进行分析，把用户的需求分解成若干个功能点，例如

SR1 登录缴费系统

   要求加密传输，密码不少于6位等

SR2 输入电话号码

   要求验证号码的正确性

SR3 查询特定的电话费

   查询结果中要包含各类明细

SR4 缴费

   连接网上银行页面，要根据不同商业银行的网银，做不同的判断；

   缴费结果一定要明确显示

… …

在测试小组参与后，资深测试工程师要根据系统需求，编写相应的测试需求。测试需求一定要保证对系统需求的100%覆盖，即系统需求的所有功能点在测试需求中必须有所反映。例如

TR1-1 登录成功

TR1-2 登录失败

……

上述的TR1-1到TR1-2都对应于系统需求的SR1（功能点）。

测试工程师要编写测试用例，依据是测试需求，测试用例要保证对测试需求的100%覆盖，即测试需求的所有检查点在测试用例中必须有所提现。例如

TCF1-1-1

输入用户名huior，对应的密码987654，以及验证码

预期结果：用户正确登录缴费系统，进入欢迎界面

TCF1-2-1

输入不存在的用户名huior_error，密码123456，以及验证码

预期结果：提示“用户名不存在”的错误，返回登录界面

TCF1-2-2

输入正确的用户名huior，密码 123456，以及验证码

预期结果：提示“密码错误”，返回登录界面

TCF1-2-3

输入正确的用户名huior，密码 987654，以及错误的验证码

预期结果：提示“验证码错误”，返回登录界面

… …

 测试员在执行测试用例的过程中，会发现BUG，BUG可以和测试用例对应。这样的话，软件开发的各个过程都可以对应起来。

有了这样的对应关系，黑盒测试对于需求的覆盖度就会很容易度量。例如，测试员只执行了用例TCF1-1-1，只覆盖了TR1-1需求，假设系统需求中只定义了2个功能点，则 

测试需求的覆盖度 = 1 / 2 * 100% = 50% 

实现

一般情况下，要成功的实施以上的过程，单单靠手工实现起来很难。目前市场上已经有比较专业的工具来协助实现以上过程。我原来听过一些产品的介绍，要完全实现以上过程，需要几个工具结合起来使用，例如DOORS + TD配合使用，就可以把以上四个过程对应起来。

 

不足

白盒测试的覆盖率本身有一些不足，例如不能发现和数据相关的错误。

int test(int a)

{

       int d = 10 / a;

       return d;

}

一个测试用例（例如输入10）就可以让逻辑覆盖率达到100%，但很明显，该100%并不能说明测试已经很充分。

同样，黑盒测试对于需求的覆盖度量只能作为一种参考。例如，以上的例子中，假如测试员执行了用例TCF1-1-1和TCF1-2-1 ，则覆盖了TR1-1和TR1-2的需求

测试需求的覆盖度 = 2/2 *100% = 100%

很显然，虽然需求已经全部覆盖，但测试还不充分，还远不能结束。

所以我的结论是黑盒测试对于需求的覆盖度量只能作为一种参考，不能以此来衡量测试的优劣。以上文字仅代表个人观点