接口测试性能指标：QPS、TPS、OTPS、TP99

1. QPS（每秒查询数）

通俗解释：
想象你开了一家奶茶店，QPS就是 “每秒能接多少顾客的点单请求”。比如每秒有10个顾客喊“我要一杯奶茶”，你的店员能同时记录这些订单，QPS就是10。

• 关键点：衡量系统同时处理请求的能力，但不关心订单是否做完，只关心“接单速度”。

---

2. TPS（每秒事务数）

通俗解释：
同样是奶茶店，TPS是 “每秒能完整交付多少杯奶茶”。比如顾客点单后，店员做完奶茶并递到顾客手里才算完成一次事务。如果每秒能交付5杯，TPS就是5。

• 关键点：衡量系统完成完整流程的能力（从请求到结果）。比如对话接口中，用户问一个问题到收到最终答案算一次事务。

---

3. 生成速度（OTPS，每秒输出Token数）

通俗解释：
假设你有一个作家机器人，OTPS就是 “这个机器人每秒能写出多少个字”。比如它每秒生成20个字（Token），OTPS就是20。

• 关键点：直接影响用户看到的回复速度。生成速度越快，用户感觉“答案是一下子蹦出来的”；越慢则像“一个字一个字慢慢挤牙膏”。

---

三者的区别

指标	比喻场景	核心关注点
QPS	奶茶店接单速度	系统能同时接多少活（并发能力）
TPS	奶茶店实际交付速度	系统完整处理任务的能力
OTPS	作家机器人写字速度	生成内容的效率（直接影响体验）

---

举个实际例子

假设你测试一个类似ChatGPT的对话接口：

• QPS=10：每秒能接收10个用户的提问请求。
• TPS=5：每秒能完整回答5个用户的问题（比如从提问到完整回复）。
• OTPS=30：模型每秒生成30个Token（比如回答“你好，有什么可以帮您？”这句话可能需要5个Token）。

问题暴露：

• 如果QPS很高（接单快），但TPS低（交付慢），说明系统卡在处理环节（比如模型生成慢或资源不足）。
• 如果OTPS低（生成速度慢），即使用户能发起请求（QPS高），也会感觉“回答得慢吞吞”。

---

总结

• QPS：系统“接活”能力，适合高并发场景（如抢购活动）。
• TPS：系统“完工”能力，适合注重完整流程的业务（如支付、对话）。
• OTPS：内容生成效率，直接影响用户体验（如聊天是否流畅）。

就像开餐厅：接单快（QPS高）、出餐快（TPS高）、厨师炒菜快（OTPS高），才能让顾客满意！

---

通俗解释 TP99：排队买奶茶的“忍耐极限”

---

场景设定

假设你开了一家网红奶茶店，每天有100个顾客排队买奶茶。

• 大部分顾客：95人只需要等1分钟就能拿到奶茶。
• 少数倒霉顾客：剩下5人因为各种原因（比如机器故障、原料用完），等了5分钟甚至更久。

---

TP99的含义

• 定义：TP99就是 “99%顾客的等待时间都不会超过这个值”。
  比如，TP99=3分钟，意味着99%的顾客（99人）等待时间≤3分钟，只有1%的顾客（1人）可能超过3分钟。
• 实际意义：它反映了 “绝大多数人的体验上限”。即使有极少数人倒霉，系统整体也算稳定。

---

TP99 vs 平均等待时间

• 平均值陷阱：如果95人等1分钟，5人等10分钟，平均等待时间是 (95×1 + 5×10)/100 = 1.45分钟。
  这个数值看起来很漂亮，但实际有5%的顾客等了10分钟，体验极差！
• TP99的优势：直接告诉你 “最惨的情况有多惨”，避免被平均值掩盖问题。

---

为什么优化TP99很重要？

• 用户体验：即使只有1%的请求变慢，也可能导致用户流失（比如支付超时、直播卡顿）。
• 系统稳定性：高TP99往往暴露隐藏问题（如数据库锁竞争、网络抖动），需要针对性优化。

---

如何降低TP99？

1. 开更多窗口（负载均衡）：增加店员或分店，分散排队压力。
2. 优化流程（代码调优）：提前备好原料（缓存），简化制作步骤（减少计算量）。
3. 给VIP通道（资源隔离）：把大订单（复杂请求）和小订单分开处理，避免互相影响。

---

总结

TP99就像“顾客忍耐力的底线”——你可以让99个人满意，但剩下1个人可能会发差评。优化TP99的目标是：让倒霉蛋的体验也在可接受范围内，比如从等10分钟降到3分钟。