技术分享 | tcmalloc解决mysqld实例引发的cpu过高问题

MySQL 通过Tcmalloc管理内存 有时候,我们想用 tcmalloc 来替代glibc库的malloc内存管理方式。本博客详细介绍了如何安装 tcmalloc 以及如何加载tcmalloc。 阅读详情

作者简介

任坤,现居珠海,先后担任专职 Oracle 和 MySQL DBA,现在主要负责 MySQL、mongoDB 和 Redis 维护工作。


背景

MySQL 版本:5.6.29,普通主从

OS:CentOS 6.8

最近一段时间线上某实例频繁报警CPU飙高,每次都捕获到同一种 SQL,结构如下:

select uid from test_history where cat_id = '99999' and create_time >= '2019-07-12 19:00:00.000' and uid in (......)

其中uid一次性会传入上百个。

表结构为

Create Table: CREATE TABLE `test_history` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键ID',
`cat_id` varchar(64) NOT NULL,
`uid` varchar(128) NOT NULL,
`msg` varchar(64) NOT NULL',
`create_time` datetime NOT NULL COMMENT '创建时间',
PRIMARY KEY (`id`),
UNIQUE KEY `idx_cat_uid` (`cat_id`,`uid`,`create_time`),
KEY `idx__time` (`create_time`)
) ENGINE=InnoDB AUTO_INCREMENT=***** DEFAULT CHARSET=utf8

SQL 使用到了索引idx_msg_uid_time,单条执行可以秒级完成,但是并发执行会遭遇执行时间过长(超过1个小时)且CPU过高的问题。

 

诊断思路

mpstat -P ALL 1,查看cpu使用情况,主要消耗在sys即os系统调用上

perf top,cpu主要消耗在_spin_lock

生成perf report查看详细情况

CPU主要消耗在mutex争用上,说明有锁热点。

采用pt-pmp跟踪mysqld执行情况,热点主要集中在mem_heap_alloc和mem_heap_free上。

Pstack提供更详细的API调用栈

#0 0x0000003e0caf80cf in __lll_unlock_wake_private () from /lib64/libc.so.6
#1 0x0000003e0ca7cf6a in _L_unlock_5936 () from /lib64/libc.so.6
#2 0x0000003e0ca78bbc in _int_free () from /lib64/libc.so.6
#3 0x000000000097dcb3 in mem_area_free(void*, mem_pool_t*) ()
#4 0x000000000097d2d2 in mem_heap_block_free(mem_block_info_t*, mem_block_info_t*) ()
#5 0x00000000009e6474 in row_vers_build_for_consistent_read(unsigned char const*, mtr_t*, dict_index_t*, unsigned long**, read_view_t*, mem_block_info_t**, mem_block_info_t*, unsigned char**) ()
#6 0x00000000009dce75 in row_search_for_mysql(unsigned char*, unsigned long, row_prebuilt_t*, unsigned long, unsigned long) ()
#7 0x0000000000939c95 in ha_innobase::index_read(unsigned char*, unsigned char const*, unsigned int, ha_rkey_function) ()

Innodb在读取数据记录时的API路径为

row_search_for_mysql --》
row_vers_build_for_consistent_read --》
mem_heap_create_block_func --》
mem_area_alloc --》
malloc --》
_L_unlock_10151 --》
__lll_unlock_wait_private

row_vers_build_for_consistent_read会陷入一个死循环,跳出条件是该条记录不需要快照读或者已经从undo中找出对应的快照版本,每次循环都会调用mem_heap_alloc/free。

而该表的记录更改很频繁,导致其undo history list比较长,搜索快照版本的代价更大,就会频繁的申请和释放堆内存。

Linux原生的内存库函数为ptmalloc,malloc/free调用过多时很容易产生锁热点。

当多条 SQL 并发执行时,会最终触发os层面的spinlock,导致上述情形。

 

解决方案

将mysqld的内存库函数替换成tcmalloc,相比ptmalloc,tcmalloc可以更好的支持高并发调用。

修改my.cnf,添加如下参数并重启

[mysqld_safe]
malloc-lib=tcmalloc

上周五早上7点执行的操作,到现在超过72小时,期间该实例没有再出现cpu长期飙高的情形。

以下是修改前后cpu使用率对比。

 

块坐标下降法实战:如何用Python一步步优化无人机通信网络? 本文通过Python实战案例,详细介绍了块坐标下降法在优化无人机通信网络中的应用。文章以最大化网络吞吐量为目标,将复杂的非凸问题拆解为功率分配和轨迹规划两个子问题,并提供了完整的算法实现、代码示例及调参指南,为机器学习工程师解决类似优化问题提供了实用参考。 阅读详情

相关推荐

四阶龙格库塔法求解一次常微分方程组(python实现)

之前在博客发布了关于使用四阶龙格库塔方法求解一次常微分方程组的文章,由于代码缺少具体的验证,部分朋友可能存在疑问,因此这里打算再重新写一篇博客来验证一下程序的正确性,另外,这里是使用python语言来实现的。

HelloWorldTM的博客 8543

内存管理(二):TCMalloc介绍

TCMalloc作为Go语言内存管理的核心算法,是理解和掌握Go的内存管理非常重要的一步,本章主要介绍TCMalloc的是什么样子的。 TCMalloc的概述 TCMalloc全称是Thread-Caching Malloc,是Google 开发的内存分配器,在不少项目中都有使用,例如在 Golang 中就使用了类似的算法进行内存分配。它具有现代化内存分配器的基本特征:对抗内存碎片、在多核...

zhghost的专栏 1270

用PyTorch手把手搭建液态神经网络(LNN):从微分方程到无人机避障实战

本文详细介绍了如何使用PyTorch搭建液态神经网络(LNN),从微分方程基础到无人机避障实战应用。LNN通过动态时序建模和微分方程实现高效计算,特别适合多传感器数据融合场景。文章包含完整的代码实现、训练技巧及性能优化方案,帮助开发者快速掌握这一前沿技术。

uber9的博客 441

c++线程并发:mutex,atomic,自旋锁spinlock,单线程

自旋锁直接调用了boost库的#include 测试线程并发的情况下耗时,不太明白为什么boost的spinlock效率这么低,还是说boost的spinlock是有其它专业用途... 在一个共有资源的情况下, 由于任务的简单性,只是++,单线程最快 多线程无锁次之,但是结果错误 atomic原子操作耗时稍长,但由于原子操作的关系,结果正确 mutex 性能损失比较大,为at

卐兜兜飞卍的专栏 8941

深入解析STM32F40x CAN控制器的配置与优化

本文深入解析STM32F40x CAN控制器的配置与优化,涵盖基础工作模式、波特率计算、筛选器配置及中断管理等关键技术。通过实战案例和代码示例,帮助开发者高效配置CAN通信,提升工业控制系统的稳定性和性能。

weixin_26834815的博客 227

Unity游戏开发实战:用柏林噪声打造3D随机地形(附完整C#代码)

本文详细介绍了如何在Unity游戏开发中使用柏林噪声算法生成3D随机地形,包含完整的C#代码实现。从基础柏林噪声原理到高级参数控制,再到性能优化和常见问题解决,帮助开发者掌握程序化地形生成技术,打造丰富多变的游戏世界。

weixin_29281941的博客 103

ptmalloc、tcmalloc与jemalloc对比分析

背景介绍 ptmalloc 系统向看ptmalloc内存管理 用户向看ptmalloc内存管理 线程中内存管理 Chunk说明 问题 tcmalloc 系统向看tcmalloc内存管理 用户向看tcmalloc内存管理 tcmalloc的优势 jemalloc 系统向看jemalloc内存管理 用户向看jemalloc内存管理 jemalloc的优势 总结 背景介绍 在开发微信看一看期间,为了进行耗时优化,基础库这层按照惯例使用tcmallo

weixin_39094034的博客 2421

实战指南:从零开始用YOLOv8训练VisDrone无人机检测模型

本文提供了一份详细的实战指南,手把手教你从零开始使用YOLOv8训练一个无人机检测模型。内容涵盖VisDrone数据集下载与格式转换、YAML配置文件编写、模型训练与评估,以及最终的推理部署,旨在帮助开发者快速掌握无人机视角下的目标检测技术。

salt的博客 692

tcmalloc性能测试

一 tcmalloc简介 1.tcmalloc(thread-caching malloc),即线程缓存malloc,为每个线程分配本地的cache; 2.线程所需的小对象(几十个字节,128KB以下)都从本地cache取; 3.同时tcmalloc维护进程级别的cache,大对象从这里取,但会加自旋锁(spinlock),这时会耗费性能; 4.如果应用程序需要频繁分配与释放小对象,则可以考虑使用tcmalloc。 二 tcmalloc使用 应用程序无需修改new或者malloc,只需要在安装t

wangzhicheng2013的专栏 1029

maya权重拷贝一对一,一对多

是不是有时候盔甲很多很碎头很大,用代理一个个拷贝很麻烦吧 用下面代码直接运行进行一对多或者一对一拷贝 第一个先选择参考物体,加选其他一堆有的没的有权重或没权重的物体执行一键拷贝,就可以啦 以下是源码送上,带走吧 ------------------------ #! -*- coding:utf -8 -*- #author:liubingdong #date:20...

weixin_30852367的博客 1535

2026最新华为OD机试新系统机考真题- 真题题库目录|全覆盖题库 + 逐点算法考点详解

2026年4月1日起,华为OD机试正式切换至新系统模式!采用力扣模式,无需自己写输入! 难度大幅度降低。正在备考华为OD机试的同学,优先刷新系统机试真题,可大幅提升通过率。 新系统考题考点与旧版一致,无需重新适应。本专栏所有算法题均配有详细思路解析,并提供C语言、JS、C++、Python、Go、Java多语言源码实现。订阅后私信即可开通专属OJ刷题权限,高效备考一次上岸!

算法大师! 2735

training become slow?训练速度奇怪的变慢?tcmalloc在tensorflow中的使用!

--------------------前言------------------------ 在训练视频分类训练的时候,发现tensorflow莫名的变慢2~5 sec /batch, 之前一直是0.4 sec/batch, 联想到最早之前mxnet训练分类时候的类似情况,决定做排查(都是同一台训练服务器上): (1)杀掉一些僵尸进程或多并行进程,eg. im2rec, 发现不见效,并且cpu...

thankyvision 1435

C#上位机多PLC多协议开发思路:10年老工控师拆解实战方案,避坑90%的问题(附代码框架)

是否连接成功数据地址(如“DB1.DBW0”“D100”“4x0001”)

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 954

技术分享 | TCMALLOC解决MYSQLD实例引发的CPU过高问题

背景 MySQL 版本:5.6.29,普通主从 OS:CentOS 6.8 最近一段时间线上某实例频繁报警CPU飙高,每次都捕获到同一种 SQL,结构如下: select uid from test_history where cat_id = ‘99999’ and create_time >= ‘2019-07-12 19:00:00.000’ and uid in (…) 其中uid一次性会传入上百个。 表结构为 Create Table: CREATE TABLE test_history (

NBA_1的博客 522

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

mysql tcmalloc_技术分享 | tcmalloc解决mysqld实例引发的cpu过高问题

原创:任坤作者简介任坤,现居珠海,先后担任专职 Oracle 和 MySQL DBA,现在主要负责 MySQL、mongoDB 和 Redis 维护工作。背景MySQL 版本:5.6.29,普通主从OS:CentOS 6.8最近一段时间线上某实例频繁报警CPU飙高,每次都捕获到同一种 SQL,结构如下:select uid from test_history where cat_id = '999...

weixin_42493325的博客 260

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

for循环测试cpu_技术分享 | tcmalloc解决mysqld实例引发的cpu过高问题

原创: 任坤 爱可生开源社区 1周前作者简介任坤,现居珠海,先后担任专职 Oracle 和 MySQL DBA,现在主要负责 MySQL、mongoDB 和 Redis 维护工作。背景MySQL 版本:5.6.29,普通主从OS:CentOS 6.8最近一段时间线上某实例频繁报警CPU飙高,每次都捕获到同一种 SQL,结构如下:select uid from test_history where ...

weixin_34138673的博客 200

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

读取cpu温度的api_技术分享 | tcmalloc解决mysqld实例引发的cpu过高问题

作者简介任坤,现居珠海,先后担任专职 Oracle 和 MySQL DBA,现在主要负责 MySQL、mongoDB 和 Redis 维护工作。背景MySQL 版本:5.6.29,普通主从OS:CentOS6.8最近一段时间线上某实例频繁报警CPU飙高,每次都捕获到同一种 SQL,结构如下:select uid from test_history where cat_id = '999...

weixin_30908131的博客 115

TCMalloc与Malloc对比

TCMalloc要比glibc 2.3的malloc(可以从一个叫作ptmalloc2的独立库获得)和其他我测试过的malloc都快。ptmalloc在一台2.8GHz的P4机器上(对于小对象)执行一次malloc及free大约需要300纳秒。而TCMalloc的版本同样的操作大约只需要50纳秒。malloc版本的速度是至关重要的,因为如果malloc不够快,应用程序的作者就很有可能在

jinguanding的专栏 1811

mysql cpu 占比过高问题解决

我们这里可以明显看到有个pid=16815的程序在占用cpu进程 那么我们找到这进行查询的慢sql 这里可以看到是哪个主机连接的信息 接下来优化sql就行了我的web后台使用到了druid 通过druid监控也可以查询到一些慢查询的sql参考:https://www.isolves.com/it/sjk/MYSQL/2022-03-11/51075.html http://www.muzhuangnet.com/show/44458.html http://t.zoukankan.com/wyy123-

vipxiaowenbo的博客 7608

朋友y的tcmalloc问题

mysql版本是5.7.33,采用采用malloc-lib=tcmalloc的方式启动,有这样的报错信息:mysqld_safe --malloc-lib must be an absolute path ignoring value 'tcmalloc' 看了tcmalloc安装路径,是: ll /usr/lib/libtcmalloc.so lrwxrwxrwx 1 root root 29 Apr 16 17:49 /usr/lib/libtcmalloc.so -> /usr/...

csdn's blog 1万+

MySQL使用TCMalloc库

TCMalloc的全称为Thread-Caching Malloc,是谷歌开发的开源工具“google-perftools”中的一个成员。与标准的glibc库的malloc相比,TCMalloc库在内存分配效率和速度上要高很多,这在很大程度上提高了服务器在高并发情况下的性能,从而降低系统负载。 要安装TCMalloc库,需要安装libunwind(32位操作系统不需要安装)和google-per

KIN ORACLE 1658

mysql开启日志占cpu不_MySQL占用CPU过高 查找原因及解决 多种方式

MySQL占用CPU过高 查找原因及解决 多种方式一、排查有没有地方占用SQL资源过多1、排查方法:>mysql-uroot-p#登陆数据库>********#输入数据库密码2、查看数据库show databases;3、use 数据库名; #切换到常用数据库4、show processlist; #显...

weixin_27388739的博客 1224

linux中rand函数cpu占用率高,竞争futex时高系统CPU使用率

我观察到,当linux futexes竞争时,系统花费了很多时间在自旋锁中。我注意到即使不直接使用futexes也是一个问题,而且在调用malloc/free,rand,glib mutex调用以及调用futex的其他系统/库调用时也会出现问题。有没有ANY摆脱这种行为的方法?竞争futex时高系统CPU使用率我正在使用内核2.6.32-279.9.1.el6.x86_64的CentOS 6.3。...

weixin_34274601的博客 769

mysql tcmalloc_Tcmalloc优化MySQL内存管理

TCMalloc是什么?TCMalloc(Thread-Caching Malloc)与标准glibc库的malloc实现一样的功能,但是TCMalloc在效率和速度效率都比标准malloc高很多。TCMalloc是google-perftools工具中的一个(gperftools四个工具分别是:TCMalloc、heap-checker、heap-profiler和cpu-profiler),这...

weixin_42619742的博客 406

利用tcmalloc提升程序性能

TCMalloc是什么 TCMalloc全称Thread-Caching Malloc,即线程缓存的malloc,实现了高效的多线程内存管理,用于替代系统的内存分配相关的函数(malloc、free,new,new[]等)。 它具有现代化内存分配器的基本特征:对抗内存碎片、在多核处理器能够 scale。据称,它的内存分配速度是 glibc2.3 中实现的 malloc的数倍,在不少开源项...

redkit的专栏 697
上一篇: 新特性解读 | MySQL 8.0 资源组
下一篇: 技术分享 | MySQL 8.0.17 GA 发布!
爱可生开源社区
博客等级 码龄8年 1938粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值