软件自动化测试基础

Slide *
第6章 软件自动化测试基础
6.1 自动化测试基础
6.2 软件自动化测试生存周期方法学
6.3 软件自动化测试生存周期方法学的应用
6.4 软件自动化测试工具简述
本章教学目标
理论环节
认识与理解应用软件自动化测试的基本概念
认识与理解软件自动化测试生存周期方法学及其应用
认识软件自动化测试工具与测试平台的获取及引入
常用软件自动化测试工具简介
实践环节
选定一个白盒自动化测试工具,进行初步学习和认识
选定一个黑盒自动化测试工具,进行初步学习和认识
选定一个负载自动化测试工具,进行初步学习和认识
6.1 自动化测试基础
6.1.1 自动化测试的意义
6.1.2 自动化测试的定义和引入
6.1.3 自动化测试的原理和方法
6.1.4 自动化测试工具的作用及优势
6.1.5 自动化测试的运用
Return
6.1.1 自动化测试的意义
通常,软件测试的工作量很大(据统计,测试会占用到40%的开发时间;一些可靠性要求非常高的软件,测试时间甚至占到开发时间的60%).而测试中的许多操作是重复性的,非智力性的和非创造性的,并要求做准确细致的工作,计算机就最适合于代替人工去完成这样的任务.
软件自动化测试是相对手工测试而存在的,主要是通过所开发的软件测试工具,脚本等来实现,具有良好的可操作性,可重复性和高效率等特点.
要理解为什么要进行自动化测试,可以从两个方面考虑:
一是手工测试的局限性;
二是软件自动化测试所带来的好处.
手工测试的局限性
通过手工测试无法做到覆盖所有代码路径.
简单的功能性测试用例在每一轮测试中都不能少,而且具有一定的机械性,重复性,工作量往往较大.
许多与时序,死锁,资源冲突,多线程等有关的错误,通过手工测试很难捕捉到.
进行系统负载,性能测试时,需要模拟大量数据或大量并发用户等各种应用场合时,很难通过于工测试来进行.
进行系统可靠性测试时,需要模拟系统运行10年,几十年,以验证系统能否稳定运行,这也是手工测试无法模拟的.
如果有大量(几千)的测试用例,需要在短时间内(1天)完成,手工测试几乎不可能做到.
自动化测试带来的好处
缩短软件开发测试周期,可以让产品更快投放市场.
测试效率高,充分利用硬件资源.
节省人力资源,降低测试成本.
增强测试的稳定性和可靠性.
提高软件测试的准确度和精确度,增加软件信任度.
软件测试工具使测试工作相对比较容易,但能产生更高质量的测试结果.
手工不能做的事情,自动化测试能做,如负载,性能测试.
软件测试实行自动化进程,绝不是因为厌烦了重复的测试工作,而是因为测试工作的需要,更准确地说是回归测试和系统测试的需要.
6.1.2 自动化测试的定义和引入
自动化测试的定义:使用一种自动化测试工具来验证各种软件测试的需求,它包括测试活动的管理与实施.
在进行自动化测试前,首先要建立一个对软件测试自动化的认识观.软件测试工具能提高测试效率,覆盖率和可靠性等,自动化测试虽然具有很多优点,但它只是测试工作的一部分,是对手工测试的一种补充.自动化测试绝不能代替手工测试,它们各有各自的特点,其测试对象和测试范围都不一样:
在系统功能逻辑测试,验收测试,适用性测试,涉及物理交互性测试时,多采用黑盒测试的手工测试方法.
自动化测试的定义和引入(续)
单元测试,集成测试,系统负载测试,性能测试,稳定性测试,可靠性测试等比较适合采用自动化测试.
那种不稳定软件的测试,开发周期很短的软件,一次性的软件等不适合自动化测试.
工具本身并没有想象力和灵活性,根据报道,自动化测试只能发现15%的缺陷,而手工测试可以发现85%的缺陷.
自动化测试工具在进行功能测试时,其准确的含义是回归测试工具,这时工具不能发现更多的新问题,但可以保证对已经测试过部分的准确性和客观性.
多数情况下,手工测试和自动化测试应该相结合,以最有效的方法来完成测试任务.
自动化测试的定义和引入(续)
通常,当软件开发过程具有下列情况时,就需要考虑引入自动化测试:
(1)非常重要的测试;(2)涉及范围很广的测试;(3)对主要功能的测试;(4)容易自动化的测试;(5)很快有回报的测试;(6)运行最频繁的测试;(7)测试个案的生成,包括测试输入,测试输出,测试操作指令等;(8)测试的执行与控制,包括单机运行和网络多机分布式的运行,在节假日的运行,测试个案调用控制,测试对象,测试范围与测试版本的控制等;(9)测试结果与标准输出进行对比;(10)不吻合预期的测试结果的分析,记录,分类和报告,及总体测试状况的统计及报表的产生.
6.1.3 自动化测试的原理和方法
软件测试自动化实现的基础是可以通过设计的特殊程序模拟测试人员对计算机的操作过程,操作行为,或者类似于编译系统那样对计算机程序进行检查.
软件测试自动化实现的原理和方法主要有:直接对代码进行静态和动态分析,测试过程的捕获和回放,测试脚本技术,虚拟用户技术和测试管理技术.
(1)代码分析
代码分析类似于高级编译系统,一般针对不同的高级语言去构造分析工具,在工具中定义类,对象,函数,变量等定义规则,语法规则;在分析时对代码进行语法扫描,找出不符合编码规范的地方;根据某种质量模型评价代码质量,生成系统的调用关系图等.
自动化测试的原理和方法(续)
(2)捕获和回放
代码分析是一种白盒测试的自动化方法,捕获和回放则是一种黑盒测试的自动化方法.捕获是将用户每一步操作都记录下来.这种记录的方式有两种:程序用户界面的像素坐标或程序显示对象(窗口,按钮,滚动条等)的位置,以及相对应的操作,状态变化或是属性变化.所有的记录转换为一种脚本语言所描述的过程,以模拟用户的操作.
回放时,将脚本语言所描述的过程转换为屏幕上的操作,然后将被测系统的输出记录下来同预先给定的标准结果比较.这可以大大减轻黑盒测试的工作量,在迭代开发的过程中,能够很好地进行回归测试.
自动化测试的原理和方法(续)
关于自动化测试中的"录制―回放"技术
目前的自动化负载测试解决方案几乎都是采用 "录制-回放"的技术.
所谓的"录制-回放"技术,就是先由手工完成一遍需要测试的流程,同时由计算机记录下这个流程期间客户端和服务器端之间的通信信息,这些信息通常是一些协议和数据,并形成特定的脚本程序 (Script) .然后在系统的统一管理下同时生成多个虚拟用户,并运行该脚本,监控硬件和软件平台的性能,提供分析报告或相关资料.这样,通过几台机器就可以模拟出成百上千的用户对应用系统进行负载能力的测试.
自动化测试的原理和方法(续)
(3)脚本技术
脚本是一组测试工具执行的指令集合,也是计算机程序的一种形式.脚本可以通过录制测试的操作产生,然后再做修改,这样可以减少脚本编程的工作量.当然,也可以直接用脚本语言编写脚本.脚本技术可以分为以下几类:
线性脚本――是录制手工执行的测试用例得到的脚本.
结构化脚本――类似于结构化程序设计,具有各种逻辑结构(顺序,分支,循环),而且具有函数调用功能.
共享脚本――是指某个脚本可被多个测试用例使用,即脚本语言允许一个脚本调用另一个脚本.
数据驱动脚本――将测试输入存储在独立的数据文件中.
关键字驱动脚本――是数据驱动脚本的逻辑扩展.
6.1.4 自动化测试工具的作用及优势
软件测试自动化通常借助测试工具进行.测试工具可以进行部分的测试设计,实现,执行和比较的工作.部分的测试工具可以实现测试用例的自动生成,但通常的工作方式为人工设计测试用例,使用工具进行用例的执行和比较.如果采用自动比较技术,还可以自动完成测试用例执行结果的判断,从而避免人工比对存在的疏漏问题.
自动化测试工具的作用:
(1)确定系统最优的硬件配置.
(2)检查系统的可靠性.
(3)检查系统硬件和软件的升级情况.
(4)评估新产品.
自动化测试工具的作用及优势(续)
自动化测试工具的优势主要体现在以下几个方面:
(1)记录业务流程并生成脚本程序的能力.
(2)对各种网络设备(客户机或服务器,其它网络设备)的模仿能力.
(3)用有限的资源生成高质量虚拟用户的能力.
(4)对于整个软件和硬件系统中各个部分的监控能力.
(5)对于测试结果的表现和分析能力.
6.1.5 自动化测试的运用
测试用例(Test Case,测试个案)的生成
测试的执行与控制
测试结果与标准输出的对比
不吻合测试结果的分析处理
测试状态的统计和报表的生成
自动化测试与开发中产品每日构建的配合
采用自动化比较技术
6.2 软件自动化测试生存周期方法学
图 自动化测试生存周期方法学结构
自动化测试生存周期方法学
1. 自动化测试决定
2. 测试工具获取
3. 自动化测试引入过程
4. 测试计划,设计与开发
5. 测试执行与管理
6. 测试评审与评估
软件自动化测试生存周期方法学(续)
采用自动化测试方法的确认
自动化测试工具的获取
自动化测试的引入阶段
――包括测试过程分析和测试工具的考查.
测试计划与测试设计
――包括制订测试计划,建立测试环境,测试设计和设计开发.
测试执行与管理
测试活动评审与评估
6.3 自动化测试生存周期方法的应用
自动化测试生存周期方法学
1. 自动化测试决定
2. 测试工具获取
3. 自动化测试引入过程
4. 测试计划,设计与开发
5. 测试执行与管理
6. 测试评审与评估
A. 系统生存周期过程评估与改进
F. 生成维护阶段
C. 小型工具先导/原型
D. 系统设计与开发阶段
B. 业务分析与需求阶段
E. 组装与测试阶段
建立正确的自动化测试目标
目前,软件自动化测试还不能解决所有的测试问题,因此,需要建立正确的自动化测试目标.
测试计划产生:主要靠测试工程师与软件生产质量保证 专家的合作,自动化工具只能起到一定的辅助作用.
一种测试工具不完全适用于所有测试
自动测试不一定减轻工作量
测试进度可能不一定缩短
测试工具不一定易于使用
自动化测试的普遍应用存在局限
测试覆盖率不会达到百分之百
测试自动化限制
测试自动化可以带来非常明显的收益,但也有以下限制:
不能取代手工测试
手工测试比自动测试发现的缺陷更多
对测试质量的依赖性极大
测试自动化不能提高有效性
测试自动化可能会制约软件开发.
工具本身并无想象力
另外,人工测试比测试工具更优越的另一个方面是可以处理意外事件.虽然工具也能处理部分异常事件,但是对真正的突发事件和不能由软件解决的问题就无能为力.
测试工具存在的不足
不现实的期望过高
缺乏测试实践经验
期望自动化测试工具完全能取代手工测试
期望自动化测试发现新故障
安全性的误解
测试自动化不能提高有效性
测试工具本身不具想象力
6.4 软件自动化测试工具简述
6.4.1 自动化测试工具的特征
6.4.2 自动化测试工具的分类
6.4.3 选择自动化测试工具
6.4.4 常用测试工具概要
Return
6.4.1 自动化测试工具的特征
支持脚本化语言(Scripting Language)
对程序界面中对象的识别能力
支持函数的可重用
支持外部函数库
抽象层―将程序界面中的对象实体映射成逻辑对象
分布式测试(Distributed Test)的支持
支持数据驱动测试(Data-Driven Test)
错误处理
调试器(Debugger)
源代码管理
支持脚本的命令行(Command Line)方式
6.4.2 自动化测试工具的分类
测试工具可以从两个不同的方面去分类.
根据测试方法不同,自动化测试工具可以分为:
白盒测试工具,黑盒测试工具
根据测试的对象和目的,自动化测试工具可以分为:
单元测试工具,功能测试工具,负载测试工具,性能测试工具,Web测试工具,数据库测试工具,回归测试工具,嵌入式测试工具,页面链接测试工具,测试设计与开发工具,测试执行和评估工具,测试管理工具等
白盒测试工具
白盒测试工具一般是针对被测源程序进行的测试,测试所发现的故障可以定位到代码级.根据测试工具工作原理的不同,白盒测试的自动化工具可分为静态测试工具和动态测试工具.
静态测试工具――是在不执行程序的情况下,分析软件的特性.静态分析主要集中在需求文档,设计文档以及程序结构方面.按照完成的职能不同,静态测试工具包括以下几种类型:
(1)代码审查 (2)一致性检查 (3)错误检查 (4)接口分析
(5)输入输出规格说明分析检查 (6)数据流分析
(7)类型分析 (8)单元分析 (9)复杂度分析
白盒测试工具(续)
动态测试工具――是直接执行被测程序以提供测试活动.它需要实际运行被测系统,并设置断点,向代码生成的可执行文件中插入一些监测代码,掌握断点这一时刻程序运行数据(对象属性,变量的值等),具有功能确认,接口测试,覆盖率分析,性能分析等性能.动态测试工具可以分为以下几种类型:
(1)功能确认与接口测试 (2)覆盖测试
(3)性能测试 (4)内存分析
常用的动态工具有:
Compuware公司的DevPartner
IBM公司的 Rational Purify
黑盒测试工具
黑盒测试工具是在明确软件产品应具有的功能的条件下,完全不考虑被测程序的内部结构和内部特性,通过测试来检验软件功能是否按照软件需求规格的说明正常工作.
按照完成的职能不同,黑盒测试工具可以分为:
功能测试工具――用于检测程序能否达到预期的功能要求并正常运行.
性能测试工具――用于确定软件和系统的性能.
常用的黑盒测试工具有:
Compuware公司的QACenter
IBM公司的Rational TeamTest
测试设计与开发工具
测试设计是说明被测软件特征或特征组合的方法,并确定选择相关测试用例的过程.测试开发是将测试设计转换成具体的测试用例的过程.
测试设计和开发需要的工具类型有:
测试数据生成器(Parasoft C++ Test)
基于需求的测试设计工具
捕获/回放
覆盖分析
测试执行和评估工具
测试执行和评估是执行测试用例并对测试结果进行评估的过程,包括选择用于执行的测试用例,设置测试环境,运行所选择的测试用例,记录测试执行过程,分析潜在的故障,并检查测试工作的有效性.
评估类工具对执行测试用例和评估测试结果过程起到辅助作用.
测试执行和评估类工具有:
捕获/回放
覆盖分析
存储器测试
测试管理工具
测试管理工具用于对测试过程进行管理,帮助完成制定测试计划,跟踪测试运行结果.通常,测试管理工具对测试计划,测试用例,测试实施进行管理,还包括缺陷跟踪管理等.
常用的测试管理工具有:
IBM公司的Rational Test Manager
测试管理工具包括以下内容:
测试用例管理
缺陷跟踪管理(问题跟踪管理)
配置管理
6.4.3 选择自动化测试工具
测试人员在选择和使用自动化测试工具时,可以从以下角度来考虑:
按照用途选择匹配的测试工具
在适当的生命周期选择测试工具
按照测试人员的实际技能选择匹配的测试工具
选择一个可提供的测试工具
6.4.4 常用测试工具概要
Parasoft C++ Test
TureCoverage
QACenter
DataFactory
WinRunner
MS ACT
Rational Robot
PureLoad