避免Linux内存浪费：Facebook开发新的THP收缩机制

最新推荐文章于 2025-12-06 19:52:12 发布
原创 最新推荐文章于 2025-12-06 19:52:12 发布 · 237 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器 #nginx #mysql

Facebook的工程师开发了THPShrinker，一种用于提高Linux透明页效率的机制，通过移除未充分利用的页面避免内存浪费。THPShrinker旨在减少内存消耗，同时保持CPU效率，目标是逐步取代madviseTHP模式，使THP对所有应用默认启用。

Meta/Facebook的工程师宣布了他们在THP Shrinker方面的工作，这是一种让Linux的透明页（THP）工作更有效率的方法，主要原理是通过移除未被充分利用的透明页来避免内存浪费。
最低0.47元/天 解锁文章
Linux：memory: THP: [迷惑行为] 要看源代码的必要性
mzhan017的博客
12-26 767
thp_fault_fallback：is incremented if a page fault fails to allocate a huge page and instead falls back to using small pages. 这里说的是allocate失败的时候才计数，上面这个代码还没到allocate的阶段，只是判断是否合适使用，如果不合适，也会fallback。而且有相关的fall-back的计数。最近在总结之前THP引出的一个问题，发现了一个让人迷惑的问题，记录总结一下过程。
Linux内存管理专题 - 第16章：Large Folios与THP/mTHP
2301_79143213的博客
07-12 345
创建Large Folio。
linux 内存 thp,操作系统内存大页（THP）对redis性能的影响
weixin_34061121的博客
05-04 1213
redis启动日志的warning:WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo mad...
LWN回顾: facebook利用transparent huge page来优化代码执行性能
Linux News搬运工
12-31 391
点击上方蓝色字关注我们~Transparent huge pages for filesystemsByJake EdgeMay 22, 2019LSFMM继续2019 Linux S...
rhel7.2 禁用透明的大页内存--transparent_hugepage(THP)
msdnchina的专栏@JiNan,ShanDong
06-09 5889
rhel7.2 禁用透明的大页内存--transparent_hugepage(THP)
5. THP(Transparent Huge Pages)
波波诸葛伟
08-21 937
在Redis启动的时候，如果发现有这个警告： 建议修改THP的相关配置，Linux 内核在2.6.38增加了THP的特性支持大内存页2MB的分配，默认开启。 开启的时候，可以降低fork子进程的速度，但fork之后，每一个内存页从原来4KB变为2MB，大幅度增加重写期间父进程的消耗。 同时每次写命令引起的复制内存页单位放大了512倍，会拖慢写操作的执行时间，导致大量写操作慢查询。因此Re...
Hadoop平台关闭THP解决服务器高负载问题
TURING.DT
04-13 4393
Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高， 原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。 而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官方也推荐关闭THP。 http://
Linux 内存管理(2)：了解内存回收机制
小嵌同学的博客
07-19 1238
虽然直接回收由进程自身执行，但会与kswapd互动：fill:#333;color:#333;color:#333;fill:none;kswapd正在运行kswapd未运行直接回收开始检查kswapd状态等待kswapd部分结果完整执行回收若回收困难 唤醒kswapd协助同步执行：由请求进程直接执行，导致阻塞代价高昂：涉及磁盘I/O和密集计算触发条件：内存≤min_wmark的危急状态优化核心增加缓冲避免内存分配尖峰监控事件。
Linux: memory: THP: transhuge_vma_suitable
mzhan017的博客
12-26 537
所以如果程序中一直都是小内存申请，然后使用，再申请，再使用，可能这个程序就用不到实际的巨页优势。这个函数给出的注释非常的少。因为第一眼看这些个条件确实有些迷惑。
10、Linux内存管理：原理、优化与安全保障
2a4s6d8f0g的博客
08-28 68
本文深入探讨了Linux系统的内存管理机制，包括缓冲区与缓存监控、Slab分配器原理与操作、交换空间管理、内存过度使用与OOM杀手机制、性能调优方法、内存分析与泄漏检测工具，以及内存安全保护技术。通过系统分析这些核心机制，并结合工具与最佳实践，帮助系统管理员和开发者优化Linux内存使用，提升系统性能与安全性。文章还展望了Linux内存管理的未来发展趋势，为读者提供全面的理论基础和实践指导。
Linux中禁用THP（Transparent Huge Pages）
a616735104的博客
10-18 1120
一、简介 　　 Centos6开始引入THP，Centos7时默认启用，用来提升内存性能。 二、说明 　　争对一些数据库，如Oracle、MariaDB、MongoDB、VoltDB在使用时，要求关闭此功能。 三、查看是否启用 [root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag [alwa...
ubuntu关闭THP
Ran
01-10 2960
ubuntu关闭THP
linux redis启动报错WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This wi
柠檬味拥抱的博客
11-15 9533
21155:M 15 Nov 2019 23:25:18.021 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the ...
【PCIe 总线及设备入门学习专栏 5.4 -- Linux EP driver iommu 与 DMA】
CodingCos的博客
12-04 61
本文介绍了IOMMU在Linux系统中的应用场景及关键概念。IOMMU主要用于PCIe设备DMA访问时的地址转换(IOVA→PA)、提供安全隔离以及支持虚拟化场景。文章对比了启用/关闭IOMMU的差异，详细说明了IOVA的使用时机，并列举了内核态地址转换的相关API，包括虚拟地址转物理地址(virt_to_phys)、用户态地址转换(get_user_pages)以及IOMMU相关转换(iommu_iova_to_phys)。特别指出CPU访问BAR时不经过IOMMU，只有PCIe设备DMA时才需要IOMM
99-在Linux上安装Anaconda
12-03 213
【代码】99-在Linux上安装Anaconda。
AlmaLinux9配置本地镜像仓库
weixin_50877409的博客
12-04 190
本文介绍了在AlmaLinux 9.7系统中配置本地yum仓库的步骤：1）创建挂载目录并挂载ISO镜像；2）备份原有repo文件并创建local.repo配置文件；3）设置本地仓库路径为/media/cdrom/AppStream；4）清除并重建yum缓存；5）最后通过成功安装telnet包验证了本地仓库配置的正确性。整个过程实现了不依赖网络使用本地ISO镜像作为软件源的目的。
Linux 进程状态与进程管理命令
qq_52537313的博客
12-04 814
在 Linux 系统中，是程序的运行实例，是操作系统资源分配和调度的基本单位。进程从创建到终止会经历多种状态，通过进程管理命令可以查看、监控和控制这些状态。本教程将结合核心命令，全方位讲解进程状态及管理方法。
Linux设备管理：从内核驱动到用户空间的完整架构解析
X
12-03 816
A[物理硬件插入/移除] --> B[内核驱动探测]B --> C{Linux统一设备模型 LDM}C --> D[在/sysfs创建对象]C --> E[发送uevent事件]D --> F[用户空间工具<br>lspci, lsusb等]E --> G[UDEV守护进程]G --> H[扫描规则库 /etc/udev/rules.d/]H --> I[匹配并执行规则]I --> J1[创建设备节点 /dev/]I --> J2[设置权限与所有权]I --> J3[执行自定义脚本]
【Linux】进程控制
最新发布
Shengmc的博客
12-06 536
/ 执行 sh -c "echo $MY_ENV"：通过Shell解析环境变量// 自动从PATH找sh程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值