【MySQL】计算 TPS,QPS 的方式

本文探讨了MySQL中QPS(查询每秒)和TPS(事务每秒)的两种计算方法,并通过实验对比了不同场景下计算结果的准确性。适用于InnoDB和MyISAM表的不同计算方式被详细说明。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在做db基准测试的时候,qps,tps 是衡量数据库性能的关键指标。本文比较了网上的两种计算方式。先来了解一下相关概念。
概念介绍:
QPS:Queries Per Second         查询量/秒,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理查询量多少的衡量标准。
TPS :  Transactions Per Second   是事务数/秒,是一台数据库服务器在单位时间内处理的事务的个数。 

如何计算:
从网上查看如果获取mysql 的qps,tps 的方法有如下两种:
方法一 基于 questions  计算qps,基于  com_commit  com_rollback 计算tps
questions = show global status like 'questions';
uptime = show global status like 'uptime';
qps=questions/uptime

com_commit = show global status like 'com_commit';
com_rollback = show global status like 'com_rollback';
uptime = show global status like 'uptime';
tps=(com_commit + com_rollback)/uptime

方法二  基于 com_* 的status 变量计算tps ,qps
使用如下命令:
show global status where variable_name in('com_select','com_insert','com_delete','com_update');
获取间隔1s 的 com_*的值,并作差值运算
del_diff = (int(mystat2['com_delete'])   - int(mystat1['com_delete']) ) / diff
ins_diff = (int(mystat2['com_insert'])    - int(mystat1['com_insert']) ) / diff
sel_diff = (int(mystat2['com_select'])    - int(mystat1['com_select']) ) / diff
upd_diff = (int(mystat2['com_update'])   - int(mystat1['com_update']) ) / diff

上述计算方法的值准确合适吗?
下图是我手工做测试的结果:
a 针对mysql innodb 表的dml 操作做了各个量的统计,结果如下:
由上图可以得出结论:
1 com_commit, com_rollback 与显示指定transaction无关,只和显式提交commit rollback 有关。
2 不管dml的结果是否成功,com_* 都会增加1 。

b 针对myisam 表的测试:
1 对于myisam 表 进行dml操作 只有questions 改变其他值不变。
2 对于myisam 存储引擎使用com_* 计算其tps,qps 是不准确的,使用questions 的值计算相对比较合适。

利用脚本使用不同的变量获取数据库的qps,tps 的对比图:
qps_s      是基于 com_select
qps_ques 是基于 questions ,
tps_iud    是基于 com_insert, com_update,com_delete 之和,
tps_com_rol是基于 com_commit com_rollback 之和
由上图可以查看 基于questions 要比基于com_select的数值要大,因为questions本身是所有db访问的集合。

总结:
Questions 是记录了从mysqld启动以来所有的select,dml 次数包括show 命令的查询的次数。这样多少有失准确性,比如很多数据库有监控系统在运行,每5秒对数据库进行一次show 查询来获取当前数据库的状态,而这些查询就被记录到QPS,TPS统计中,造成一定的"数据污染".
如果数据库中存在比较多的myisam表,则计算还是questions 比较合适。
如果数据库中存在比较多的innodb表,则计算以com_*数据来源比较合适。

<think>我们计划创建一个监控MySQL TPSQPS的Shell脚本。TPS(Transactions Per Second)指每秒事务数,QPS(Queries Per Second)指每秒查询数。 计算方式: 1. QPS = (当前Queries值 - 上一次Queries值) / 时间间隔 2. TPS = (当前Com_commit值 + 当前Com_rollback值 - 上一次Com_commit值 - 上一次Com_rollback值) / 时间间隔 注意:我们使用`mysqladmin extended-status`或直接查询`SHOW GLOBAL STATUS`来获取状态变量。 为了避免权限问题,我们将使用具有适当权限的用户(例如,具有PROCESS和SUPER权限的用户)来连接MySQL。 脚本设计: 1. 设置连接MySQL的参数(用户名、密码等) 2. 设置采样间隔(例如1秒)和采样次数(可选) 3. 获取初始状态值 4. 循环获取当前状态值,计算差值并输出QPSTPS 5. 格式化输出,包括时间戳 参考之前用户提供的脚本片段,我们注意到权限问题(需要SUPER或REPLICATION CLIENT权限)可能导致错误,因此我们将确保使用有足够权限的用户。 我们将编写一个易于使用且健壮的脚本。 脚本内容如下:</think># MySQL TPS/QPS监控脚本 以下是一个专业的MySQL TPS/QPS监控Shell脚本,基于MySQL性能优化最佳实践设计: ```bash #!/bin/bash # MySQL TPS/QPS监控脚本 v1.3 # 作者: 数据库性能优化专家 # 最后更新: 2023-10-15 # ===== 配置区域 ===== MYSQL_USER="monitor_user" # 监控专用用户 MYSQL_PASSWORD="secure_password" # 用户密码 MYSQL_HOST="localhost" # MySQL主机 MYSQL_PORT="3306" # MySQL端口 INTERVAL_SEC=1 # 采样间隔(秒) LOG_FILE="/var/log/mysql_tps_qps.log" # 日志文件路径 # ==================== # 创建日志目录 mkdir -p $(dirname "$LOG_FILE") # 初始化日志文件头 echo "Timestamp | QPS | TPS | Threads_conn | Threads_run | Uptime" > "$LOG_FILE" echo "----------------------+-------+-------+--------------+-------------+--------" >> "$LOG_FILE" # 验证MySQL连接 check_mysql_connection() { if ! mysqladmin -u"$MYSQL_USER" -p"$MYSQL_PASSWORD" -h"$MYSQL_HOST" -P"$MYSQL_PORT" ping &>/dev/null; then echo "[错误] 无法连接到MySQL服务器" >&2 return 1 fi return 0 } # 获取MySQL状态变量 get_mysql_status() { mysql -u"$MYSQL_USER" -p"$MYSQL_PASSWORD" -h"$MYSQL_HOST" -P"$MYSQL_PORT" \ -sN -e "SHOW GLOBAL STATUS WHERE Variable_name IN ('Queries', 'Com_commit', 'Com_rollback', 'Threads_connected', 'Threads_running', 'Uptime')" } # 主监控函数 monitor_tps_qps() { # 获取初始状态值 prev_stats=$(get_mysql_status) [ -z "$prev_stats" ] && { echo "无法获取初始状态值"; return 1; } # 解析初始值 prev_queries=$(echo "$prev_stats" | awk '$1=="Queries"{print $2}') prev_commit=$(echo "$prev_stats" | awk '$1=="Com_commit"{print $2}') prev_rollback=$(echo "$prev_stats" | awk '$1=="Com_rollback"{print $2}') while true; do sleep "$INTERVAL_SEC" # 获取当前状态值 current_stats=$(get_mysql_status) [ -z "$current_stats" ] && continue # 解析当前值 current_queries=$(echo "$current_stats" | awk '$1=="Queries"{print $2}') current_commit=$(echo "$current_stats" | awk '$1=="Com_commit"{print $2}') current_rollback=$(echo "$current_stats" | awk '$1=="Com_rollback"{print $2}') threads_connected=$(echo "$current_stats" | awk '$1=="Threads_connected"{print $2}') threads_running=$(echo "$current_stats" | awk '$1=="Threads_running"{print $2}') uptime=$(echo "$current_stats" | awk '$1=="Uptime"{print $2}') # 计算QPSTPS qps=$(( (current_queries - prev_queries) / INTERVAL_SEC )) tps=$(( ( (current_commit - prev_commit) + (current_rollback - prev_rollback) ) / INTERVAL_SEC )) # 更新前值 prev_queries="$current_queries" prev_commit="$current_commit" prev_rollback="$current_rollback" # 格式化输出 timestamp=$(date +"%Y-%m-%d %H:%M:%S") printf "%-20s | %-5d | %-5d | %-12d | %-11d | %-6d\n" \ "$timestamp" "$qps" "$tps" "$threads_connected" "$threads_running" "$uptime" | tee -a "$LOG_FILE" done } # 主程序入口 main() { echo "=== MySQL TPS/QPS监控启动 ===" echo "配置:" echo " - 用户: $MYSQL_USER" echo " - 主机: $MYSQL_HOST:$MYSQL_PORT" echo " - 采样间隔: ${INTERVAL_SEC}秒" echo " - 日志文件: $LOG_FILE" echo "============================" # 检查连接 if ! check_mysql_connection; then exit 1 fi # 启动监控 monitor_tps_qps } main ``` ## 关键特性与计算原理 ### 1. 核心指标计算 - **QPS(每秒查询数)**: $QPS = \frac{\Delta Queries}{\Delta t} = \frac{Queries_t - Queries_{t-1}}{采样间隔}$ - **TPS(每秒事务数)**: $TPS = \frac{\Delta Com\_commit + \Delta Com\_rollback}{\Delta t} = \frac{(Com\_commit_t - Com\_commit_{t-1}) + (Com\_rollback_t - Com\_rollback_{t-1})}{采样间隔}$ ### 2. 附加监控指标 - **Threads_connected**: 当前连接数 - **Threads_running**: 活跃线程数 - **Uptime**: MySQL服务运行时间(秒) ### 3. 权限要求 脚本需要MySQL用户具有以下权限: ```sql GRANT PROCESS, REPLICATION CLIENT ON *.* TO 'monitor_user'@'localhost'; ``` ## 使用说明 1. **配置脚本**: - 修改脚本顶部的配置区域 - 创建监控专用用户并授权 2. **运行监控**: ```bash chmod +x mysql_monitor.sh ./mysql_monitor.sh ``` 3. **示例输出**: ``` Timestamp | QPS | TPS | Threads_conn | Threads_run | Uptime ----------------------+-------+-------+--------------+-------------+-------- 2023-10-15 14:30:25 | 1250 | 85 | 32 | 8 | 86400 2023-10-15 14:30:26 | 1320 | 92 | 33 | 9 | 86401 ``` 4. **停止监控**:`Ctrl+C` ## 高级配置建议 1. **生产环境优化**: ```bash # 降低采样频率减轻负载 INTERVAL_SEC=5 # 使用UNIX socket连接 MYSQL_SOCKET="/var/run/mysqld/mysqld.sock" ``` 2. **集成到Zabbix**: 修改`get_mysql_stats_wrapper.sh`脚本,添加用户名参数: ```bash RES=$(mysql -u"$MYSQL_USER" -p"$MYSQL_PASSWORD" -e 'SHOW SLAVE STATUS\G' | egrep '(Slave_IO_Running|Slave_SQL_Running):' | awk -F: '{print $2}' | tr '\n' ',') ``` ## 性能指标意义 | 指标 | 健康范围 | 告警阈值 | |------|----------|----------| | QPS | < 1000 | > 5000 | | TPS | < 200 | > 1000 | | Threads_running | < 10 | > 50 | | Threads_connected | < 50 | > 200 | > **注意**:阈值取决于具体硬件配置和业务需求,建议根据基线调整[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值