性能测试基础知识-测试指标(转载自阿里云)

系统性能指标

1. 交易响应时间
   1. 定义及解释

      响应时间指用户从客户端发起一个请求开始，到客户端接收到从服务器端返回的响应结束，整个过程所耗费的时间。在性能检测中一般以压力发起端至被压测服务器返回处理结果的时间为计量，单位一般为秒或毫秒。平均响应时间指系统稳定运行时间段内，同一交易的平均响应时间。一般而言，交易响应时间均指平均响应时间。 平均响应时间指标值应根据不同的交易分别设定，一般情况下，分为复杂交易响应时间、简单交易响应时间、特殊交易响应时间。其中，特殊交易响应时间的设定必须明确该交易在响应时间方面的特殊性。

   2. 简称

      Response Time: RT

   3. 参考标准

      不同行业不同业务可接受的响应时间是不同的，一般情况，对于在线实时交易：

      • 互联网企业：500毫秒以下，例如淘宝业务10毫秒左右。
      • 金融企业：1秒以下为佳，部分复杂业务3秒以下。
      • 保险企业：3秒以下为佳。
      • 制造业：5秒以下为佳。

      对于批量交易：

      • 时间窗口：即整个压测过程的时间，不同数据量则时间不一样，例如双11和99大促，数据量级不一样则时间窗口不同。大数据量的情况下，2小时内可完成压测。
2. 系统处理能
   1. 定义及解释

      系统处理能力是指系统在利用系统硬件平台和软件平台进行信息处理的能力。 系统处理能力通过系统每秒钟能够处理的交易数量来评价，交易有两种理解：一是业务人员角度的一笔业务过程；二是系统角度的一次交易申请和响应过程。前者称为业务交易过程，后者称为事务。两种交易指标都可以评价应用系统的处理能力。一般的建议与系统交易日志保持一致，以便于统计业务量或者交易量。系统处理能力指标是技术测试活动中重要指标。

   2. 简称

      一般情况下，用以下几个指标来度量：

      • HPS（Hits Per Second） ：每秒点击次数，单位是次/秒。
      • TPS（Transaction per Second）：系统每秒处理交易数，单位是笔/秒。
      • QPS（Query per Second）：系统每秒处理查询次数，单位是次/秒。 对于互联网业务中，如果某些业务有且仅有一个请求连接，那么TPS=QPS=HPS，一般情况下用TPS来衡量整个业务流程，用QPS来衡量接口查询次数，用HPS来表示对服务器单击请求。
   3. 标准

      无论TPS、QPS、HPS,此指标是衡量系统处理能力非常重要的指标，越大越好，根据经验，一般情况下：

      • 金融行业：1000TPS~50000TPS，不包括互联网化的活动
      • 保险行业：100TPS~100000TPS，不包括互联网化的活动
      • 制造行业：10TPS~5000TPS
      • 互联网电子商务：10000TPS~1000000TPS
      • 互联网中型网站：1000TPS~50000TPS
      • 互联网小型网站：500TPS~10000TPS
3. 并发用户
   1. 定义及解释

      并发用户数指在同一时刻内，登录系统并进行业务操作的用户数量。 并发用户数对于长连接系统来说最大并发用户数即是系统的并发接入能力。对于短连接系统而言最大并发用户数并不等于系统的并发接入能力，而是与系统架构、系统处理能力等各种情况相关。例如系统吞吐能力很强，加上短连接一般都有连接复用，往往并发用户数大于系统的并发接入连接数。所以对于大部分短连接类型的系统，吞吐量模式（RPS模式，Request Per Second）比较适合，也是阿里的最佳实践，PTS支持RPS模式的压测，吞吐量的压测构建和衡量一步到位。 在测试中，采用虚拟用户来模拟现实中用户进行业务操作。

   2. 简称

      Virtual User: VU

   3. 标准

      一般情况下，性能测试是将系统处理能力容量测出来，而不是测试并发用户数，除了服务器长连接可能影响并发用户数外，系统处理能力不受并发用户数影响，可以用最小的用户数将系统处理能力容量测试出来，也可以用更多的用户将系统处理能力容量测试出来。

4. 错误率
   1. 定义及解释

      错误率指系统在负载情况下，失败交易的概率。错误率＝（失败交易数/交易总数）*100%。稳定性较好的系统，其错误率应该由超时引起，即为超时率。

   2. 简称

      Virtual Failure Ratio: FR: VU

   3. 标准

      不同系统对错误率的要求不同，但一般不超出千分之六，即成功率不低于99.4%

资源指标

1. CPU
   1. 定义及解释

      中央处理器是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ Control Unit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。 CPU Load: 系统正在干活的多少的度量，队列长度。系统平均负载。

   2. 简称

      Central Processing Unit：CPU

   3. 标准

      CPU指标主要指的CPU使用率利用率，包括用户态（user）、系统态（sys）、等待态（wait）、空闲态（idle）。CPU 利用率要低于业界警戒值范围之内，即小于或者等于75%;CPU sys%小于或者等于30%, CPU wait%小于或者等于5%。单核CPU也需遵循上述指标要求。CPU Load要小于CPU 核数。

2. Memory
   1. 定义及解释

      内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。

   2. 简称

      Memory就是内存的简称。