性能：吞吐量（TPS）、QPS、并发数与响应时间（RT）是个啥东西？高并发性能指标你了解多少？

摘录：

文章1

 探索性能之巅：深入理解吞吐量（TPS）、QPS、并发数与响应时间（RT）

文章2

 面试官：你了解 QPS、TPS、RT、吞吐量 这些高并发性能指标吗？

在数字化时代，高性能的系统和网络架构已成为各行业竞争力的关键因素。衡量系统性能和网络性能的指标众多，其中吞吐量（TPS）、QPS、并发数和响应时间（RT）是四个最为重要的指标。本文旨在深入解析这四个指标的含义、作用及相互关系，帮助读者更好地理解和优化系统性能。

一、QPS，每秒查询
QPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。互联网中，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。

定义与特点
QPS（Queries Per Second）即每秒查询率，它衡量的是服务器每秒能够响应的查询次数。与TPS相比，QPS更侧重于衡量查询操作的性能。在数据库、Web服务等场景中，QPS的高低直接影响用户体验和系统稳定性。每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。对应fetches/sec，即每秒的响应请求数，也即是最大吞吐能力。（看来是类似于TPS，只是应用于特定场景的吞吐量）。

影响QPS的因素
影响QPS的因素主要包括查询语句的复杂性、数据库的性能、网络带宽、并发用户数等。优化这些因素可以提高QPS，从而提升系统整体性能。

提高QPS的方法
提高QPS的方法包括：优化查询语句、使用索引、减少不必要的数据传输、采用缓存技术等。此外，对数据库进行读写分离、读写分离读写等操作也有助于提高QPS。

QPS的技术细节
QPS的高低与查询语句的优化程度密切相关。例如，使用索引可以大大提高查询速度，从而降低QPS。此外，缓存技术也是提高QPS的有效手段。通过将热点数据缓存在内存中，可以减少对数据库的访问次数，从而提高QPS。

二、TPS，每秒事务
TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。

QPS vs TPS：QPS基本类似于TPS，但是不同的是，对于一个页面的一次访问，形成一个TPS；但一次页面请求，可能产生多次对服务器的请求，服务器对这些请求，就可计入“QPS”之中。如，访问一个页面会请求服务器2次，一次访问，产生一个“T”，产生2个“Q”。

定义与意义
吞吐量（TPS，Transactions Per Second）是指系统或服务器在单位时间内处理的事务数量。它反映了系统处理请求的能力，是评估系统性能的重要指标之一。TPS越高，说明系统处理事务的速度越快，性能越好。对于无并发的应用系统而言，吞吐量与响应时间成严格的反比关系，实际上此时吞吐量就是响应时间的倒数。前面已经说过，对于单用户的系统，响应时间（或者系统响应时间和应用延迟时间）可以很好地度量系统的性能，但对于并发系统，通常需要用吞吐量作为性能指标。 对于一个多用户的系统，如果只有一个用户使用时系统的平均响应时间是t，当有你n个用户使用时，每个用户看到的响应时间通常并不是n×t，而往往比n×t小很多（当然，在某些特殊情况下也可能比n×t大，甚至大很多）。这是因为处理每个请求需要用到很多资源，由于每个请求的处理过程中有许多不走难以并发执行，这导致在具体的一个时间点，所占资源往往并不多。也就是说在处理单个请求时，在每个时间点都可能有许多资源被闲置，当处理多个请求时，如果资源配置合理，每个用户看到的平均响应时间并不随用户数的增加而线性增加。实际上，不同系统的平均响应时间随用户数增加而增长的速度也不大相同，这也是采用吞吐量来度量并发系统的性能的主要原因。一般而言，吞吐量是一个比较通用的指标，两个具有不同用户数和用户使用模式的系统，如果其最大吞吐量基本一致，则可以判断两个系统的处理能力基本一致。 

计算方法与影响因素
TPS的计算方法通常为总事务数除以总时间。在实际应用中，TPS受到多种因素的影响，包括硬件配置、网络带宽、系统架构、并发用户数等。优化这些因素可以有效提升TPS。

提升TPS的策略
提升TPS的策略包括：优化数据库性能、减少网络延迟、使用负载均衡技术、优化代码逻辑等。此外，合理设计系统架构和采用高性能的硬件设备也是提升TPS的关键。

三、RT，响应时间
响应时间：执行一个请求从开始到最后收到响应数据所花费的总体时间,即从客户端发起请求到收到服务器响应结果的时间。响应时间RT(Response-time)，是一个系统最重要的指标之一，它的数值大小直接反应了系统的快慢。

定义与重要性
响应时间（RT，Response Time）是指用户发出请求到系统做出响应的时间。它直接关系到用户体验和系统性能。较短的响应时间意味着系统能够更快速地响应用户请求，提高用户满意度。直观上看，这个指标与人对软件性能的主观感受是非常一致的，因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许多功能，而不同功能的处理逻辑也千差万别，因而不同功能的响应时间也不尽相同，甚至同一功能在不同输入数据的情况下响应时间也不相同。所以，在讨论一个系统的响应时间时，人们通常是指该系统所有功能的平均时间或者所有功能的最大响应时间。当然，往往也需要对每个或每组功能讨论其平均响应时间和最大响应时间。 对于单机的没有并发操作的应用系统而言，人们普遍认为响应时间是一个合理且准确的性能指标。需要指出的是，响应时间的绝对值并不能直接反映软件的性能的高低，软件性能的高低实际上取决于用户对该响应时间的接受程度。对于一个游戏软件来说，响应时间小于100毫秒应该是不错的，响应时间在1秒左右可能属于勉强可以接受，如果响应时间达到3秒就完全难以接受了。而对于编译系统来说，完整编译一个较大规模软件的源代码可能需要几十分钟甚至更长时间，但这些响应时间对于用户来说都是可以接受的。

影响响应时间的因素
影响响应时间的因素包括网络延迟、系统负载、硬件性能等。优化这些因素可以有效降低响应时间，提升系统性能。

降低响应时间的策略
降低响应时间的策略包括：优化网络传输、减少数据处理时间、使用异步处理技术等。此外，对系统进行负载均衡和容灾备份也有助于降低响应时间，提高系统稳定性。

响应时间（RT）的技术细节
响应时间的优化需要从多个方面入手。首先，优化网络传输可以降低网络延迟，从而提高响应时间。其次，减少数据处理时间也是关键。例如，通过优化算法和数据结构，可以降低数据处理的复杂度，从而提高响应时间。此外，使用异步处理技术也可以降低响应时间，因为异步处理可以将耗时操作与主线程分离，使主线程能够更快地返回响应。

四、并发数
并发数是指系统同时能处理的请求数量，这个也是反应了系统的负载能力。

定义与意义
并发数是指同时访问系统或服务器的用户数量。它反映了系统处理并发请求的能力，是评估系统性能的重要指标之一。高并发数意味着系统能够同时处理更多的用户请求，提高系统的吞吐量和响应速度。与吞吐量相比，并发用户数是一个更直观但也更笼统的性能指标。实际上，并发用户数是一个非常不准确的指标，因为用户不同的使用模式会导致不同用户在单位时间发出不同数量的请求。一网站系统为例，假设用户只有注册后才能使用，但注册用户并不是每时每刻都在使用该网站，因此具体一个时刻只有部分注册用户同时在线，在线用户就在浏览网站时会花很多时间阅读网站上的信息，因而具体一个时刻只有部分在线用户同时向系统发出请求。这样，对于网站系统我们会有三个关于用户数的统计数字：注册用户数、在线用户数和同时发请求用户数。由于注册用户可能长时间不登陆网站，使用注册用户数作为性能指标会造成很大的误差。而在线用户数和同事发请求用户数都可以作为性能指标。相比而言，以在线用户作为性能指标更直观些，而以同时发请求用户数作为性能指标更准确些。

并发数与性能的关系
并发数与系统性能密切相关。当并发数过高时，系统可能因资源不足而出现性能瓶颈，导致响应时间延长、错误率增加等问题。因此，合理控制并发数是保证系统稳定运行的关键。

优化并发数的策略
优化并发数的策略包括：使用线程池技术、优化锁机制、采用分布式架构等。这些策略有助于提高系统的并发处理能力，降低因并发数过高而导致的性能问题。

并发数的技术细节
并发数的处理涉及到多线程、异步处理等技术。例如，使用线程池可以有效管理线程资源，避免线程过多导致的性能下降。同时，异步处理技术可以将耗时的操作放到后台执行，从而释放主线程处理其他请求，提高系统的并发处理能力。

五、吞吐量
系统的吞吐量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个request 对CPU消耗越高，外部系统接口、IO速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间。

QPS（TPS）：（Query Per Second）每秒钟request/事务 数量
并发数：系统同时处理的request/事务数
响应时间：一般取平均响应时间
理解了上面三个要素的意义之后，就能推算出它们之间的关系：

QPS（TPS）= 并发数/平均响应时间
并发数 = QPS*平均响应时间
 吞吐量（TPS）的技术细节
TPS的计算不仅涉及事务的数量，还涉及事务的复杂性和执行时间。例如，一个复杂的事务可能涉及多个数据库查询和计算操作，其执行时间会比简单事务长得多。因此，在优化TPS时，除了提升硬件性能外，还需要关注事务的复杂性和执行效率。

六、实际举例
我们通过一个实例来把上面几个概念串起来理解。按二八定律来看，如果每天 80% 的访问集中在 20% 的时间里，这 20% 时间就叫做峰值时间。

公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS)
机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器
1、每天300w PV 的在单台机器上，这台机器需要多少QPS？

( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)
2、如果一台机器的QPS是58，需要几台机器来支持？

139 / 58 = 3

七、最佳线程数、QPS、RT
1、单线程QPS公式：QPS=1000ms/RT
对同一个系统而言，支持的线程数越多，QPS越高。假设一个RT是80ms,则可以很容易的计算出QPS,QPS = 1000/80 = 12.5

多线程场景，如果把服务端的线程数提升到2，那么整个系统的QPS则为 2*（1000/80） = 25, 可见QPS随着线程的增加而线性增长，那QPS上不去就加线程呗，听起来很有道理，公司也说的通，但是往往现实并非如此。

2、QPS和RT的真实关系
我们想象的QPS、RT关系如下

实际的QPS、RT关系如下

3、最佳线程数量
刚好消耗完服务器的瓶颈资源的临界线程数，公式如下

最佳线程数量=（（线程等待时间+线程cpu时间）/线程cpu时间）* cpu数量

特性：
在达到最佳线程数的时候，线程数量继续递增，则QPS不变，而响应时间变长，持续递增线程数量，则QPS开始下降。
每个系统都有其最佳线程数量，但是不同状态下，最佳线程数量是会变化的。
瓶颈资源可以是CPU,可以是内存，可以是锁资源，IO资源：超过最佳线程数-导致资源的竞争，超过最佳线程数-响应时间递增。

八、TPS、QPS、并发数与RT的相互关系
TPS、QPS、并发数和RT这四个指标相互关联，共同影响着系统性能。TPS和QPS反映了系统的处理能力，并发数体现了系统的并发处理能力，而RT则直接影响用户体验。在实际应用中，我们需要根据具体场景和需求，综合考虑这四个指标，以制定合适的性能优化策略。QPS（TPS）= 并发数/平均响应时间；并发数 = QPS*平均响应时间。

如果每天 80% 的访问集中在 20% 的时间里，这 20% 的时间就叫做峰值时间。

公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS)

机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器

每天300w PV的在单台机器上，这台机器需要多少QPS？

( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)
如果一台机器的QPS是58，需要几台机器来支持？

139 / 58 = 3
九、总结
通过对吞吐量（TPS）、QPS、并发数和响应时间（RT）的深入解析，我们可以更好地理解和优化系统性能。在数字化时代，高性能的系统和网络架构已成为各行业竞争力的关键因素。未来，随着技术的不断发展和应用场景的不断拓展，我们需要持续关注这些指标的变化，以应对更加复杂和多样化的性能挑战。

展望未来，随着云计算、大数据、人工智能等技术的普及和应用，系统性能的优化将变得更加重要和复杂。我们需要不断探索新的性能优化技术和方法，以满足不断增长的性能需求，为各行业的发展提供有力支撑。

案例一：电商网站高并发处理
某大型电商网站在促销活动期间，并发用户数激增，导致系统性能下降，响应时间延长。为了解决这个问题，团队首先分析了系统的TPS和QPS，发现数据库查询成为性能瓶颈。于是，团队采用了读写分离读写、引入缓存等技术手段，成功提升了系统的TPS和QPS，降低了响应时间，保证了活动的顺利进行。

案例二：在线支付系统性能优化
某在线支付系统在高峰期经常出现支付失败、响应慢等问题。经过分析，团队发现并发数过高导致系统资源紧张。为了解决这个问题，团队采用了分布式架构和负载均衡技术，将请求分散到多个服务器上处理，成功提高了系统的并发处理能力，降低了响应时间。

1. 吞吐量（TPS）的技术细节
TPS的计算不仅涉及事务的数量，还涉及事务的复杂性和执行时间。例如，一个复杂的事务可能涉及多个数据库查询和计算操作，其执行时间会比简单事务长得多。因此，在优化TPS时，除了提升硬件性能外，还需要关注事务的复杂性和执行效率。

2. QPS的技术细节
QPS的高低与查询语句的优化程度密切相关。例如，使用索引可以大大提高查询速度，从而降低QPS。此外，缓存技术也是提高QPS的有效手段。通过将热点数据缓存在内存中，可以减少对数据库的访问次数，从而提高QPS。

3. 并发数的技术细节
并发数的处理涉及到多线程、异步处理等技术。例如，使用线程池可以有效管理线程资源，避免线程过多导致的性能下降。同时，异步处理技术可以将耗时的操作放到后台执行，从而释放主线程处理其他请求，提高系统的并发处理能力。

4. 响应时间（RT）的技术细节
响应时间的优化需要从多个方面入手。首先，优化网络传输可以降低网络延迟，从而提高响应时间。其次，减少数据处理时间也是关键。例如，通过优化算法和数据结构，可以降低数据处理的复杂度，从而提高响应时间。此外，使用异步处理技术也可以降低响应时间，因为异步处理可以将耗时操作与主线程分离，使主线程能够更快地返回响应。
-----------------------------------
©著作权归作者所有：来自51CTO博客作者橙极纪元JJYCheng的原创作品，请联系作者获取转载授权，否则将追究法律责任
性能：吞吐量（TPS）、QPS、并发数与响应时间（RT）是个啥东西？高并发性能指标你了解多少？
https://blog.51cto.com/cplvfx/13093791