5. THP(Transparent Huge Pages)

最新推荐文章于 2024-07-24 00:03:26 发布
最新推荐文章于 2024-07-24 00:03:26 发布
阅读量890 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Redis运维 文章标签： redis 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wojiuguowei/article/details/81906614
本文介绍如何通过禁用Linux的透明大页(THP)功能来优化Redis性能。THP可能会影响Redis在进行fork操作时的效率，并增大内存消耗。文章提供了具体的禁用THP的方法，包括直接写入/sys/kernel/mm/transparent_hugepage/enabled文件以及在/etc/rc.local中设置以确保重启后仍保持该设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Redis启动的时候，如果发现有这个警告：

建议修改THP的相关配置，Linux 内核在2.6.38增加了THP的特性支持大内存页2MB的分配，默认开启。

开启的时候，可以降低fork子进程的速度，但fork之后，每一个内存页从原来4KB变为2MB，大幅度增加重写期间父进程的消耗。

同时每次写命令引起的复制内存页单位放大了512倍，会拖慢写操作的执行时间，导致大量写操作慢查询。因此Redis建议将此特性禁用。

echo never >/sys/kernel/mm/transparent_hugepage/enabled

为了重启THP配置依然有效，可以在/etc/rc.local中追加

vim /etc/rc.local

echo never >/sys/kernel/mm/transparent_hugepage/enabled

Centos7禁用THP（Transparent HugePages）
zhengzaifeidelushang的博客
11-01 1148
Hadoop是个高密集型内存运算系统，理论上运算型Java程序应该更多的使用用户态CPU才对，不关闭THP，Hadoop的系统态CPU使用率很高，Cloudera官方推荐关闭THP从而提升hadoop性能。 一.什么是Transparent HugePages？ Transparent HugePages是RHEL6的新特性。为了提升性能，Kernel会将程序缓存在内存中，每页内存以2M为单位。 大多数操作系统采用了分段或分页的方式进行管理。分段是粗粒度的管理方式，而分页则是细粒度管理方式，分页方式可以避免
Transparent HugePages 详解
kf_panda
11-06 6435
之前写过关于HugePages的，当时是介绍ORACLE在大内存下建议开启大页内存管理。 文章的链接为 http://blog.csdn.net/gua___gua/article/details/22613691 今天写下关于Transparent HugePages的，这个也大页内存管理，不过他和标准的大页内存管理有区别。 Transparent HugePages是在运行时动态
透明大叶（Transparent Huge Pages）
kf_panda
09-06 1611
Transparent Huge Pages的一些官方介绍资料 Transparent Huge Pages (THP) are enabled by default in RHEL 6 for all applications. The kernel attempts to allocate hugepages whenever possible and any Linux process
KVM内存管理（六）—— transparent hugepage
wozaiyizhideng的博客
04-20 779
[root@localhost ~]# cat /proc/4800/smaps | grep -e "AnonHugePages" AnonHugePages: 6144 kB AnonHugePages: 2048 kB AnonHugePages: 2048 kB AnonHugePages: 4096 kB AnonHugePages: 1335296 kB [root@localhost ~]# [root@localhost...
Huge pages (标准大页)和 Transparent Huge pages(透明大页)
coco3600的博客
09-18 778
Huge pages ( 标准大页 ) 和 Transparent Huge pages( 透明大页 ) ...
关闭Transparent HugePages(THP)
weixin_36991626的博客
07-07 252
在安装某些应用软件时需要关闭Transparent HugePages(THP)，如新版Apache Doris，关闭方法总结如下： 执行命令 登录后复制 echo "never" >> /sys/kernel/mm/transparent_hugepage/enabled echo "never" >...
CentOS7 禁用Transparent Huge Pages的实现方法
09-30
CentOS7系统引入了一个名为Transparent Huge Pages (THP) 的特性，它旨在提高内存的效率和性能。然而，对于某些特定的应用，如Oracle数据库、MariaDB、MongoDB等，THP可能会导致性能下降，因此这些应用通常建议禁用...
Centos7禁用THP（Transparent HugePages）(大数据要关闭此项)
十八闲客的博客,专注于大数据运维
07-24 821
开启THP精髓是提高内存分配效率，减少CPU SYS开销。 如果输出结果为[always]表示透明大页启用了。[never]表示透明大页禁用、[madvise]表示（只在MADV_HUGEPAGE标志的VMA中使用THP 这个状态就说明都是启用的。 3、永久禁用THP(Transparent HugePages ) 编辑rc.local文件： 4、保存退出，然后赋予rc.local文件执行权限： 5、最后重启系统，以后再检查THP应该就是被禁用了 6、另一
Centos 7.4系统启用大页hugepages
07-24
5. **提升内存访问的整体性能**：综合以上几点，Hugepages能够显著改善Oracle数据库服务器的内存访问效率，从而提升整个系统的响应速度和吞吐量。 #### 二、配置Hugepages步骤详解 ##### 1. 禁用Transparent Huge ...
transparent_hugepage设置
ikeseo的博客
06-21 558
openGauss默认关闭使用transparent_hugepage服务，并将关闭命令写入操作系统启动文件。
关于Transparent Hugepage
热门推荐
lin_FS的专栏
06-21 1万+
1 = Transparent Hugepage Support = 2 3 == Objective == 4 5 Performance critical computing applications dealing with large memory 6 working sets are already running on top of libhugetlbfs and in turn
透明大页相关内核参数_TransparentHugePage(THP)大页
weixin_39888180的博客
12-20 673
Transparent Huge Pages (THP) are enabled by default in RHEL 6for all applications. The kernel attempts to allocate hugepageswhenever possible and any Linux process will receive 2MB pages ifthe mmap re...
银河麒麟高级服务器操作系统V10SP2（X86）开启，关闭和设置透明大页（transparent_hugepage）
weixin_45754407的博客
11-29 5283
银河麒麟高级服务器操作系统V10SP2（X86）开启，关闭和设置透明大页（transparent_hugepage）
Linux7检查或关闭transparent_hugepage（透明大页）
wanghailan1818的博客
05-14 2563
检查当前的transparent_hugepage状态(以下为开启状态)
什么是Transparent HugePages
无形的专栏
10-14 1367
1.什么是Transparent HugePages？ Transparent HugePages是RHEL6的新特性。 为了提升性能，Kernel会将程序缓存在内存中，每页内存以2M为单位。 想要有效的使用THP，kernel要在内存中找到一系列连续的物理内存来满足需求，也可能会对齐。 为了达到这个效果，系统新加了一个khugepaged进程，这个进程会偶尔尝试把正在使用的较小页面换到hugepage中。这样就能使hugepage使用达到最大化。 2.如何关闭THP 尽管THP的本意是为提升性能，但某些数
linux 内存管理 Transparent HugePages 透明大页 简介
whatday的专栏
11-12 2800
1. 介绍 从RedHat6, RedHat7, OL6, OL7 SLES11 and UEK2 kernels开始，透明大页默认是被开启的以便去改善操作系统的内存管理。透明大页与之前版本的传统意义上的HugePages是类似的，最主要的区别在于透明大页是可以在操作系统运行过程中动态设置的然而传统的hugepages是需要重启操作系统才能生效。 RAC环境下透明大页可能会造成不可预知的节点重...
关于大内存页面 transparent_hugepage
aa627126247的博客
11-13 293
Transparent Huge Pages (THP) are enabled by default in RHEL 6 for all applications. The kernel attempts to allocate hugepages whenever possible and any Linux process will receive 2MB pages if the...
Linux下大页HugePages与透明大页Transparent HugePages
rayylee
12-21 7202
Linux下的大页分为两种类型：标准大页（Huge Pages）和透明大页（Transparent Huge Pages）。 Huge Pages有时候也翻译成大页/标准大页/传统大页，它们都是Huge Pages的不同中文翻译名而已，顺带提一 下这个，免得有人被这些名词给混淆、误导了。
4、/sys/kernel/mm/transparent_hugepage/enabled never // 开启thp会缩小fork时间,但是超时会增加,会增多内存拷贝 4. THP状态: [always] madvise never
最新发布
03-27
<think>好的，用户问到了关于透明大页（THP）的状态设置为never的问题，并提到开启THP会缩短fork时间但增加超时和内存拷贝。我需要详细解释THP的不同状态，以及用户提到的这些影响。 首先，确认用户提供的命令是检查THP状态的：`cat /sys/kernel/mm/transparent_hugepage/enabled`，输出显示当前状态是[always] madvise never，可能用户实际看到的是其中一个被选中，比如用户提到设置为never，但输出中显示当前启用了always，所以这里可能存在混淆。 需要解释THP的三种模式：always（始终启用）、madvise（按需启用）、never（禁用）。用户提到开启THP会缩短fork时间，但会增加超时和内存拷贝。这可能涉及到THP对系统性能的双刃剑影响。当THP启用时，系统尝试使用大页来减少页表项，提高TLB命中率，从而提升性能。但大页的分配和合并可能导致延迟，尤其是在内存碎片化时，频繁的内存压缩会增加CPU开销，导致延迟增加，尤其是在fork这类操作中，虽然可能因为大页的存在减少页表复制时间，但内存管理的复杂性可能导致其他问题。 用户提到将THP设置为never，可能是因为遇到了由THP引起的性能问题，比如延迟波动或内存使用效率低下。需要解释不同模式的应用场景：always适合需要大量连续内存访问的应用，madvise让应用自己决定，而never则适用于需要稳定延迟或避免内存开销的环境，比如数据库（如MongoDB、Redis常建议禁用THP）。 接下来，需要给出操作建议，如何检查当前状态，如何临时修改和永久修改。同时要提到注意事项，比如性能测试和数据库建议。可能用户是在优化服务器配置，特别是在处理高并发或延迟敏感的应用，需要权衡THP带来的利弊。 还需要确保回答符合之前的格式，分步骤解析，潜在问题与建议，以及总结。要使用中文，结构清晰，正确使用LaTeX格式的行内公式，如果有的话，但用户的问题中没有涉及数学公式，可能不需要。同时注意用户是系统管理员或开发者，处理服务器配置问题，所以需要给出实际的操作命令和解释。 最后，总结THP的优缺点，帮助用户根据具体场景决定是否调整设置，并强调测试的重要性。</think>--- ### **透明大页（THP）状态解析与优化建议** --- #### **1. THP 状态说明** 透明大页（Transparent HugePages，THP）是 Linux 内核的内存管理机制，通过合并小页（4KB）为 2MB 的大页，减少页表项数量，从而提升内存访问效率。系统提供三种配置模式： - `always`：内核自动尝试合并所有可用的小页为大页（默认值）。 - `madvise`：仅对显式标记 `MADV_HUGEPAGE` 的内存区域启用大页（按需启用）。 - `never`：完全禁用透明大页。 当前系统状态显示为 `[always] madvise never`，表示当前启用了 `always` 模式。 --- #### **2. 用户观察的性能矛盾** 用户提到：**“开启 THP 会缩短 `fork` 时间，但会增加超时和内存拷贝”**，这与 THP 的以下特性相关： - **缩短 `fork` 时间**： THP 合并小页为大页后，进程 `fork` 时复制的页表项减少，理论上可加速子进程创建。 - **增加超时和内存拷贝**： - **内存碎片化压力**：内核需频繁合并小页为大页，若内存碎片化严重，会触发内存压缩（Compaction），增加 CPU 开销和延迟。 - **大页分裂开销**：若大页内存被频繁修改（如写时复制），内核需将大页拆分为小页，导致额外内存操作。 --- #### **3. 不同模式的适用场景** | 模式 | 适用场景 | 风险 | |-----------|--------------------------------------------------------------------------|----------------------------------------------------------------------| | `always` | 需要高性能且内存访问连续的场景（如科学计算） | 内存碎片化、延迟波动、内存占用增加 | | `madvise` | 需精细控制大页的应用程序（如 Redis 使用 `MADV_HUGEPAGE` 标记关键内存段） | 需代码适配，默认优化有限 | | `never` | 对延迟敏感或内存碎片敏感的场景（如数据库、实时系统） | 牺牲大页性能优势，需依赖静态大页（需手动配置） | --- #### **4. 操作建议与验证** ##### **检查当前 THP 状态** ```bash cat /sys/kernel/mm/transparent_hugepage/enabled # 输出示例：always [madvise] never（当前选中 madvise） ``` ##### **临时修改 THP 模式（重启失效）** ```bash # 切换到 never 模式 echo never | sudo tee /sys/kernel/mm/transparent_hugepage/enabled # 验证是否生效 cat /sys/kernel/mm/transparent_hugepage/enabled # 应显示 [never] ``` ##### **永久禁用 THP** 1. **修改 GRUB 配置**： ```bash sudo vim /etc/default/grub # 在 GRUB_CMDLINE_LINUX 中添加参数： GRUB_CMDLINE_LINUX="... transparent_hugepage=never" ``` 2. 更新 GRUB 并重启： ```bash sudo update-grub && sudo reboot ``` --- #### **5. 潜在问题与优化方向** - **禁用 THP 的副作用**： - 小页管理导致 TLB 未命中率上升，可能降低内存密集型应用的性能（需结合业务场景权衡）。 - 若需大页支持，可改用 **静态大页**（需手动预留内存）。 - **数据库场景的特殊性**： - MySQL、MongoDB 等数据库通常建议禁用 THP，因其内存访问模式易受碎片化和延迟波动影响。 - 参考 MongoDB 官方文档：[Disable Transparent Huge Pages](https://docs.mongodb.com/manual/tutorial/transparent-huge-pages/)。 - **性能验证方法**： ```bash # 监控 THP 相关统计（分配/分裂次数） grep -e "thp" /proc/vmstat # 结合压测工具（如 sysbench）观察延迟变化 sysbench memory --memory-block-size=2M --memory-total-size=20G run ``` --- ### **总结** - **当前状态**：系统启用了 `always` 模式，可能因内存碎片化导致延迟波动。 - **建议操作**： - 若为数据库或实时系统，建议禁用 THP（`never` 模式）。 - 若需保留大页性能优势，可尝试 `madvise` 模式并优化应用程序内存标记。 - **关键验证**：通过性能测试和监控，确认 THP 对业务负载的实际影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

金士顿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值