使用tcmalloc替换系统的malloc

最新推荐文章于 2025-10-10 17:27:54 发布
转载 最新推荐文章于 2025-10-10 17:27:54 发布 · 2.6k 阅读 · 0

本文记录了一次使用Google的TCMalloc内存分配器显著提升服务器处理能力的经历。原本在4万次/分的请求下CPU占用达400%，更换为TCMalloc后，在28万次/分的请求下CPU占用不到20%。

今天对服务器进行压测，模拟的请求量到4万次/分的时候，进程的CPU占用就已经达到400%了（也就是把四个核都占到100%）。其实模拟的请求数据都是单一的，不会因为BUG的原因导致CPU过高。怀疑是代码里的STL用得过多，加之ttserver和memcached大量的读操作——大量的小内存分配可能带来全局的锁竞争，从而可能使得CPU过高。

之前听说过google的tcmalloc是一个很好的线程内的内存分配器，能够提高内存分配的性能。正好今天试试能不能改善我的代码的性能。
安装的过程如下：
#1、到google下载代码：
cd /home/ahfu/temp
wget https://gperftools.googlecode.com/files/gperftools-2.1.tar.gz

#解压
tar -zxvf google-perftools-1.4.tar.gz
#看看说明
cd google-perftools-1.4
./configure -h
#选择简单的安装
mkdir -p /home/ahfu/temp/tcmalloc
./configure --disable-cpu-profiler --disable-heap-profiler --disable-heap-checker --disable-debugalloc --enable-minimal --disable-shared
make && make install
#在makefile里面加入一行就行
LIB = "/home/ahfu/temp/tcmalloc/lib/libtcmalloc_minimal.a"
#  g++ .....   ${LIB}

再进行压测！
大吃一惊！
请求量模拟到28万次/分后，CPU占用还不到20%！！！



CodingSir
关注
TcMalloc的介绍以及Windows下安装使用
h a 6 6 6 c k 为 你解决复杂难题！
01-22 1418
TcMalloc的介绍以及Windows下安装使用 本文由博主(SunboyL)原创，转载请注明出处：http://www.cnblogs.com/xsln/p/Introduction_TcMalloc.html 介绍： 　　TcMalloc（Thread-CachingMalloc）是google-perftools工具中的一个内存管理库，与标准的glibc库中malloc相比，TcMa...
在应用程序中替换Linux中Glibc的malloc的四种方法 .
09-07 2794
打算优化系统的内存分配，接管glibc提供的内存管理，但是整个工程的代码量很大，使用malloc、realloc、calloc和free的地方到处都是，如果自己写好的接口需要重命名所有的调用，先不说工作量，部分没有权限查看代码的.a文件就搞不定了。所以需要替换掉系统的malloc
C++实现高并发内存池:仿tcmalloc
最新发布
2402_86037826的博客
10-10 789
详解多线程高并发内存池的C++实现：仿tcmalloc
python 进程内存增长问题, 解决方法和工具
weixin_30767921的博客
01-25 1226
转载：http://drmingdrmer.github.io/tech/programming/2017/05/06/python-mem.html#pyrasite-%E8%BF%9E%E6%8E%A5%E8%BF%9B%E5%85%A5python%E7%A8%8B%E5%BA%8F 表现 解决方法 定位问题过程 gdb-python: 搞清楚python程序在做什么 ...
tcmalloc为什么快，如何替换系统malloc
hk78787878的专栏
02-13 1217
使用了thread cache，小块的内存分配都可以从cache中分配。多线程分配内存的情况下，可以减少锁竞争。 tcmalloc官方文档见： https://gperftools.github.io/gperftools/tcmalloc.html tcmalloc可以替换大多数系统、不同编译器环境下的内存分配函数（malloc/free/new/delete),针对不同的编译器和操作系统，...
利用TCMalloc替换Nginx和Redis默认glibc库的malloc内存分配
编程的本质是数学问题
09-28 5336
TCMalloc的全称为Thread-Caching Malloc，是谷歌开发的开源工具google-perftools中的一个成员。与标准的glibc库的Malloc相比，TCMalloc库在内存分配效率和速度上要高很多，这在很大程度上提高了服务器在高并发情况下的性能，从而降低了系统的负载。 1.安装libunwind库  可以从http://download.savannah.gnu.or
在应用程序中替换Linux中Glibc的malloc内存申请的6种方法
mw_nice的博客
12-10 2867
打算优化系统的内存分配，接管glibc提供的内存管理，但是整个工程的代码量很大，使用malloc、realloc、calloc和free的地方到处都是，如果自己写好的接口需要重命名所有的调用，先不说工作量，部分没有权限查看代码的.a文件就搞不定了。所以需要替换掉系统的malloc，保证原有调用的名称不变。经过尝试，共有四种方法可以替换，各有优缺点吧。 方案1 使用环境变量LD_PRELOAD ...
精选资源
tcmalloc编译好的lib文件和dll文件
03-20
5. **兼容性**：tcmalloc设计成替换标准的malloc和free函数，因此在大多数C++程序中可以直接使用，无需修改代码。 **如何在项目中启用tcmalloc** 为了使用tcmalloc，你需要在你的代码中进行初始化，并替换默认的...
linux系统 64位下编译安装tcmalloc
04-11
在使用tcmalloc时，你需要在程序启动时通过LD_PRELOAD环境变量指定tcmalloc的动态链接库，以替换系统默认的内存分配器： ```bash export LD_PRELOAD=/path/to/libtcmalloc.so.4.3.0 ``` 最后，为了验证tcmalloc...
c 语言重新封装malloc,替换malloc的方法
weixin_34684706的博客
05-19 2951
替换malloc和new是为了检查内存泄漏和溢出。虽然有valgrind但是并不好用。1.封装malloc、重写newC语言可以用宏替换malloc，例如： #define malloc cf_malloc 或者就在IDE里面手动查找替换一下。但是C++就比较麻烦，重写全局new带来很多问题。目前我是只重写基类的new和delete。2.GCC malloc hookshttp://www.gnu...
用户定义的 malloc 替换
04-12 2172
通用编程概念：编写并调试程序用户定义的 malloc 替换用户可用他们自己的设计来替换内存子系统（malloc、calloc、realloc、free、mallopt 和 mallinfo 子系统。注:不支持以 C++ 编写的“替换内存子系统”，因为在 C++ 库 libC.a 中要使用 libc.a 内存子系统。现存的内存子系统对有线程和没有线程的应用程序都有作用
tcmalloc安装
sun
06-02 1912
一. 安装 　　tcmalloc在gperftools之中，故想要使用tcmalloc，就得先安装gperftools。在linux下，其安装步骤如下： 　　1. tar xzvf gperftools-2.1.tar.gz 　　2. cd gperftools-2.1 　　3. ./configure --enable-frame-pointers 　　4. mak
TCMalloc的使用
weixin_30580341的博客
01-28 273
Windows下： 1. 编译libtcmalloc_minimal，编成静态的动态的都可以。 2. 在链接中设置附加依赖库libtcmalloc_minimal.lib，并且强制符号引用要加上__tcmalloc。 Linux下： 1. 编译，得到libtcmalloc_minimal.so，libtcmalloc_minimal.so.4，libtcmalloc_minimal....
用于替代malloc和free功能的高并发内存池
TheBao0107的博客
10-11 574
定长内存池在申请定长的内存时,其效率是非常高的,但是由于它只能申请定长的内存,所以其使用还是受到了一定的限制,另外,对于内存碎片的问题,它也没有相应的应对措施.除此以外,在多线程并发的场景下,锁竞争太过于激烈,效率太低.
【性能】tcmalloc 使用和原理
热门推荐
我的笔记本
09-16 1万+
安装 安装bazel tcmalloc项目的的管理是用bazel，所以先安装bazel： 在线安装：yum install bazel，如果不行考虑下面的 cd/etc/yum.repos.d/ wget https://copr.fedorainfracloud.org/coprs/vbatts/bazel/repo/epel-7/vbatts-bazel-epel-7.repo yum install bazel 如果还是不行，考虑离线安装。手动从github下载预编译bazel二进制.
学习python时遇到的各种问题
seeyougain的博客
05-31 215
1、查看版本号 import torch 1.11 torch.version.cuda#11.3 2、确定cuda的版本11.1 nvcc -V 3、按照链接进行安装 也可以通过卸载它，知道它是什么版本 4、安装链接安装包 pip install torch-scatter torch-sparse torch-cluster torch-spline-conv -f https://pytorch-geometric.com/whl/torch-1.10.2%2Bcu102.html pip insta
tcmalloc的工作原理
Jian Sun_的博客
10-25 5573
原理      tcmalloc就是一个内存分配器，管理堆内存，主要影响malloc和free，用于降低频繁分配、释放内存造成的性能损耗，并且有效地控制内存碎片。glibc中的内存分配器是ptmalloc2，tcmalloc号称要比它快。一次malloc和free操作，ptmalloc需要300ns，而tcmalloc只要50ns。同时tcmalloc也优化了小对象的存储，需要更少的空间。tcm
如何在linux中使用tcmalloc
09-09
<think> 我们正在回答用户关于在Linux系统中使用tcmalloc的方法的问题。根据之前的引用和回答，我们需要整理出具体的使用步骤，包括安装、编译链接、环境变量配置等。同时，注意引用来源。 引用信息回顾： - 引用[1]提到TCMalloc比glibc的malloc快，并带有堆栈工具。 - 引用[2]展示了编译时链接TCMalloc静态库的例子：`g++ -O0 -g -pthread test.cc /usr/local/lib/libtcmalloc_and_profiler.a` - 引用[3]提到动态库libtcmalloc.so的路径问题，需要添加其所在文件夹路径，并使用`sudo /sbin/ldconfig`更新。 - 引用[4]说明64位系统需要先安装libunwind库。 因此，使用步骤包括： 1. 安装依赖（64位系统需要libunwind） 2. 安装TCMalloc（通常包含在gperftools中） 3. 编译程序时链接TCMalloc库（静态或动态） 4. 运行程序（可能需要设置环境变量） 具体步骤： ### 1. 安装依赖（仅64位系统） 对于64位Linux系统，需要先安装libunwind库。32位系统无需安装。 ```bash # 下载并解压 wget https://github.com/libunwind/libunwind/releases/download/v1.6.2/libunwind-1.6.2.tar.gz tar -zxvf libunwind-1.6.2.tar.gz cd libunwind-1.6.2 # 编译安装 ./configure make sudo make install ``` ### 2. 安装TCMalloc（通过gperftools） TCMalloc是gperftools的一部分，因此需要安装gperftools。 ```bash # 下载gperftools（以gperftools-2.9.1为例） wget https://github.com/gperftools/gperftools/releases/download/gperftools-2.9.1/gperftools-2.9.1.tar.gz tar -zxvf gperftools-2.9.1.tar.gz cd gperftools-2.9.1 # 编译安装 ./configure make sudo make install ``` 安装后，TCMalloc的库文件（如libtcmalloc.so、libtcmalloc.a）通常位于`/usr/local/lib`目录下。为了让系统能够找到这些库，需要更新动态库链接缓存： ```bash sudo ldconfig ``` 如果库文件不在标准路径，可通过引用[3]的方法添加路径：编辑`/etc/ld.so.conf.d/tcmalloc.conf`，添加库所在目录（例如`/usr/local/lib`），然后运行`sudo ldconfig`。 ### 3. 链接TCMalloc库编译程序 在编译程序时，需要链接TCMalloc库。有两种方式：动态链接和静态链接。 #### 动态链接（推荐） ```bash g++ -O0 -g -pthread your_program.cpp -o your_program -ltcmalloc ``` #### 静态链接 ```bash g++ -O0 -g -pthread your_program.cpp /usr/local/lib/libtcmalloc_and_profiler.a -o your_program ``` 注意：如果使用动态链接，程序运行时需要能够找到`libtcmalloc.so`。若安装后已运行`ldconfig`，则无需额外操作；否则需要设置`LD_LIBRARY_PATH`环境变量： ```bash export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH ``` ### 4. 运行程序 编译完成后，直接运行程序即可： ```bash ./your_program ``` ### 5. （可选）环境变量配置 TCMalloc支持通过环境变量调整行为，例如设置线程缓存大小： ```bash export TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES=4194304 # 设置线程缓存最大为4MB ``` ### 注意事项 - **动态加载警告**：不要使用`LD_PRELOAD`在程序运行时加载TCMalloc（尤其是已经运行了一段时间的程序），这可能导致内存管理冲突[^2]。 - **性能监控**：TCMalloc内置堆分析工具，可使用`HEAPPROFILE`环境变量生成堆分析文件： ```bash export HEAPPROFILE=/tmp/heapprofile # 设置堆分析文件路径 ./your_program ``` 以上步骤涵盖了在Linux系统中使用TCMalloc的主要方法。通过替换默认的内存分配器，可以提升多线程程序的内存分配性能。 §§相关问题§§ 1. 如何验证TCMalloc是否在程序中生效？ 2. TCMalloc的堆分析工具如何使用？ 3. 在Docker容器中如何使用TCMalloc？ </think> ### Linux系统中使用TCMalloc的方法 以下是详细的使用步骤，结合编译链接、环境配置和运行监控： --- #### 1. **安装依赖与TCMalloc库** - **64位系统必装依赖**： ```bash # 安装libunwind（64位必需） wget https://github.com/libunwind/libunwind/releases/download/v1.6.2/libunwind-1.6.2.tar.gz tar zxvf libunwind-1.6.2.tar.gz cd libunwind-1.6.2 ./configure && make && sudo make install ``` - **安装TCMalloc**（通过gperftools）： ```bash wget https://github.com/gperftools/gperftools/releases/download/gperftools-2.10/gperftools-2.10.tar.gz tar zxvf gperftools-2.10.tar.gz cd gperftools-2.10 ./configure && make && sudo make install ``` - **验证安装**： ```bash ls /usr/local/lib/libtcmalloc* # 确认库文件存在 sudo ldconfig # 更新库缓存[^3] ``` --- #### 2. **编译链接应用程序** - **动态链接**（推荐）： ```bash g++ your_app.cpp -o app -ltcmalloc -pthread ``` 运行时自动使用TCMalloc替代glibc的malloc，提升多线程性能[^1]。 - **静态链接**： ```bash g++ your_app.cpp /usr/local/lib/libtcmalloc_and_profiler.a -o app -pthread ``` --- #### 3. **运行时配置** - **环境变量调优**： ```bash # 设置线程缓存大小（默认2MB） export TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES=4194304 # 4MB # 启用堆内存分析（定位内存泄漏） export HEAPPROFILE=/tmp/app_heap_profile ./app ``` - **禁止动态加载**： ❌ 避免使用`LD_PRELOAD`加载到已运行程序： ```bash # 错误用法（可能导致崩溃） LD_PRELOAD=/usr/local/lib/libtcmalloc.so ./running_app ``` 仅支持在程序启动时链接[^2]。 --- #### 4. **验证与监控** - **检查是否生效**： ```bash ldd ./app | grep tcmalloc # 查看动态库依赖 ``` 输出应包含`libtcmalloc.so`。 - **分析内存使用**： 运行后生成堆分析文件，使用`pprof`工具： ```bash pprof --text ./app /tmp/app_heap_profile.0001.heap ``` 输出内存分配热点及调用栈[^1]。 --- ### 关键注意事项 1. **架构兼容性**： - 32位系统无需安装libunwind[^4] - 仅适用于Linux/Unix环境 2. **适用场景**： - 多线程服务（如Nginx、Redis） - 需要高频内存分配的程序 3. **性能优势**： 相比glibcmalloc，小内存分配速度提升显著[^1]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值