软件测试CNAS认证过程中有关性能测试工具LoadRunner的若干问题解读

本文链接：https://blog.youkuaiyun.com/daopuyun/article/details/144523910

一、相关文件中对软件测试CNAS实验室测试工具的要求

6.4.1 软件测试设备可包括测试工具软件以及计算机系统、网络系统、适配器、测试输入和结果输出等硬件设备。当利用计算机或自动设备对软件测试数据进行采集、处理、记录、报告、存储或检索时，实验室应对这些测试数据处理有关的软件进行核实，并对测试环境中测试工具软件的计算和数据转移进行系统和适当的检查。实验室应规定程序保证测试环境中的所有测试软件应为正式软件或与客户约定的软件，且版本正确。

注 1：正式软件指按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件。

注 2：可运行一小组测试，验证测试工具软件（包括嵌入式测试工具软件配套的硬件设备）已正确安装。

6.4.3 实验室应对测试工具软件进行版本升级和配置控制，防止误用。

6.4.4 有指标要求的测试工具在投入使用前应对其使用范围进行检查。例如，允许 500 个用户的测试工具，在初次使用前，应采用适当的方法对其是否符合要求予以核查确认。

6.4.12 正在进行测试的设备应张贴“测试中”的标识，并在屏保中设置标识，以避免错误调整测试环境影响测试工作的进行。

6.4.13 设备记录应包括测试所用设备的配置及支撑软件等信息（包括：工具类型、名称、生产厂商、版本号、用途与性能、启用时间、许可证书、主要选件、技术文件及运行平台等信息）。测试工具软件的不同版本，均应加以唯一性标识。

二、软件测试CNAS认证性能测试工具一定要用Loadrunner吗？

虽然相关认可文件中并没有明确说明一定要购买Loadrunner作为性能测试工具，但是在实际的操作中，绝大部分的实验室都是选择采购Loadrunner作为性能测试工具。主要的影响因素有：

1、减少额外的验证成本

CNAS资质申请过程中，对于软件测试工具产品要求使用“按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件”。因此，如果不使用Loadrunner，为了避免测试机构对开源软件的修改导致的测试结果问题，需要测试机构提供开源测试工具产品与商业测试工具产品的比对证明，证明两者测试结果相一致。从而增加了资质申请的工作量和难度，后续资质复审也可能需要面临专家的质疑。

2、成熟商业测试工具确保结果更稳定

不成熟的工具产品支持的通信协议、开发技术往往有限，对一些较新的技术支持不充分，在测试过程中，特别是大量代码或大量Web页面场景下，可能会出现运行不稳定等问题，对测试项目进度造成影响。通过Loadrunner可以获取更加稳定的测试结果，在评审过程中收获一个较好的表现。

3、商业测试工具产品使用成本更低

开源的工具产品使用较为繁琐，同样的测试项目，至少比商业产品需要增加50%以上的工作量和人力成本，用于通过多个不同开源测试工具完成一个完整的测试等，对于周期较短的项目，可能导致项目无法及时完成。Loadrunner在后续的使用过程中可以帮助团队节省很大一部分人力成本。

三、软件测试CNAS认证针对性能测试工具还需要做哪些工作

1、计量溯源性

针对软件检测工具的实际情况，可以考虑通过验证方式进行溯源。也就是说，当检测所用设备暂不能溯源到国家基准时，可以通过实验室间比对、能力验证等方式，对其是否满足规定要求进行验证。

2、测量不确定度评定

在软件检测领域，当软件检测结果涉及测量值并有量值精确度要求的，要应用评定测量不确定度的程序，分析不确定度的因素及其对软件测试结果的可能影响，测量结果不确定度的评定要求一般适用于要进行物理量检测以及检测涉及使用浮点算法或数据的近似表示极个别情况的检测，例如效率度量中响应时间、处理时间、周转时间、吞吐量等。