THP Transparent HugePages关闭

最新推荐文章于 2024-07-24 00:03:26 发布

weixin_33712881

最新推荐文章于 2024-07-24 00:03:26 发布

阅读量81

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/zwgblog/p/5872851.html

本文介绍在使用Ambari安装Hortonworks HDP过程中遇到的Transparent Huge Pages (THP)开启问题及解决方案。THP开启可能导致Hadoop性能下降，文章提供了具体的关闭THP的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ambari 安装Hortonworks HDP 时在检测host异常

The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues.

关闭Transparent HugePages的办法：

在linux下执行

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag  
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled  
echo never > /sys/kernel/mm/transparent_hugepage/enabled  
echo never > /sys/kernel/mm/transparent_hugepage/defrag

转载于:https://www.cnblogs.com/zwgblog/p/5872851.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33712881

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Centos7禁用THP（Transparent HugePages）

zhengzaifeidelushang的博客

11-01

1146

Hadoop是个高密集型内存运算系统，理论上运算型Java程序应该更多的使用用户态CPU才对，不关闭THP，Hadoop的系统态CPU使用率很高，Cloudera官方推荐关闭THP从而提升hadoop性能。一.什么是Transparent HugePages？ Transparent HugePages是RHEL6的新特性。为了提升性能，Kernel会将程序缓存在内存中，每页内存以2M为单位。大多数操作系统采用了分段或分页的方式进行管理。分段是粗粒度的管理方式，而分页则是细粒度管理方式，分页方式可以避免

透明大叶（Transparent Huge Pages）

kf_panda

09-06

1610

Transparent Huge Pages的一些官方介绍资料 Transparent Huge Pages (THP) are enabled by default in RHEL 6 for all applications. The kernel attempts to allocate hugepages whenever possible and any Linux process

参与评论您还未登录，请先登录后发表或查看评论

THP Transparent HugePages 相关知识与关闭

weixin_33724046的博客

02-23

近期遇到个LINUX系统内存比較大。未开 HugePages，业务有变化导致ORACLE连接数剧增至上千个，PageTables达到上百G。导致内存不足系统HANG住的案例。因此须要开启 HugePages，操作系统是OEL6以上的。LINUX的下面版本号:Red Hat Enterprise Linux 6, SUSE Linux Enterprise Server 11, an...

5. THP(Transparent Huge Pages)

波波诸葛伟

08-21

888

在Redis启动的时候，如果发现有这个警告：建议修改THP的相关配置，Linux 内核在2.6.38增加了THP的特性支持大内存页2MB的分配，默认开启。开启的时候，可以降低fork子进程的速度，但fork之后，每一个内存页从原来4KB变为2MB，大幅度增加重写期间父进程的消耗。同时每次写命令引起的复制内存页单位放大了512倍，会拖慢写操作的执行时间，导致大量写操作慢查询。因此Re...

Ambari安装HDP集群注册时出现主机警告：透明页面存在性能影响问题

qq_44620475的博客

10-20

216

Ambari安装HDP注册时出现主机警告：透明页面问题 THP可能对hadoop有潜在的性能影响： The following hosts have Transparent Huge Pages (THP) enabled. THP should be disabled to avoid potential Hadoop performance issues. 解决方法： echo never ...

Ambari2.5.0与HDP2.6.0集群安装配置

紫翎观星的专栏

05-23

2万+

Ambari2.5.0与HDP2.6.0集群安装配置 1.环境准备 2.安装Ambari集群 3.安装配置部署HDP集群 4.安装部署遇到问题解决方案

Centos7禁用THP（Transparent HugePages）(大数据要关闭此项)

十八闲客的博客,专注于大数据运维

07-24

816

开启THP精髓是提高内存分配效率，减少CPU SYS开销。如果输出结果为[always]表示透明大页启用了。[never]表示透明大页禁用、[madvise]表示（只在MADV_HUGEPAGE标志的VMA中使用THP 这个状态就说明都是启用的。 3、永久禁用THP(Transparent HugePages ) 编辑rc.local文件： 4、保存退出，然后赋予rc.local文件执行权限： 5、最后重启系统，以后再检查THP应该就是被禁用了 6、另一

CentOS7 禁用Transparent Huge Pages的实现方法

09-30

CentOS7系统引入了一个名为Transparent Huge Pages (THP) 的特性，它旨在提高内存的效率和性能。然而，对于某些特定的应用，如Oracle数据库、MariaDB、MongoDB等，THP可能会导致性能下降，因此这些应用通常建议禁用...

Transparent Huge Pages 禁用

chengwa9834的博客

12-04

237

ambari 安装Hortonworks HDP 时在检测host时异常。 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Had...

Redis学习笔记五——启动警告问题的解决

热门推荐

实践出真知

07-23

5万+

如果启动前不对linux内核做任何更改，那么redis启动会报出警告，共三个：如下图所示第一个警告：The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 意思是：TCP backlog设置值，51

THP关闭方法-Transparent Pages

weixin_33670713的博客

12-05

455

#这里只针对CentOs7系统，内核3.10，grub2#修改/etc/default/grub，在GRUB_CMDLINE_LINUX中添加transparent_hugepage=never，如下GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=system/root rd.lvm.lv=system/swap rhgb quiet transpa...

ubuntu 禁用透明大页_禁用大内存页面

weixin_39628256的博客

12-20

431

Transparent Huge Pages (THP)是一种Linux内存管理系统，可以通过使用更大的内存页来减少对带有大量内存的机器Translation Lookaside Buffer (TLB)的开销。然而，数据库工作负载通常在THP上表现不佳，因为它们往往是稀疏而非连续性的内存访问模式。所以你应该禁用Linux机器上的THP，以确保Redis、ORACLE、MariaDB、MongoD...

hadoop安装和维护07--安装Ambari Server(02)

chbxw

12-29

827

hadoop安装和维护07--安装Ambari Server(02)

Ambari学习13_安装ambari的时候遇到的ambari和hadoop问题集

wang_zhenwei的博客

11-14

3万+

5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for mo

Linux中禁用THP（Transparent Huge Pages）

a616735104的博客

10-18

1096

一、简介　　 Centos6开始引入THP，Centos7时默认启用，用来提升内存性能。二、说明　　争对一些数据库，如Oracle、MariaDB、MongoDB、VoltDB在使用时，要求关闭此功能。三、查看是否启用 [root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/defrag [alwa...

Linux 下关闭THP(Transparent Huge Pages)

vkingnew 的技术博客

08-26

2938

背景：有MongoBD数据库和tokuBD对THP 的设置有特殊的设置要求。需要关闭THP功能。设置： #touch /etc/init.d/disable-transparent-hugepages #vim /etc/init.d/disable-transparent-hugepages #!/bin/bash ### BEGIN INIT INFO # Provides: ...

Linux 关于Transparent Hugepages的介绍

weixin_34216107的博客

07-23

234

透明大页介绍 Transparent Huge Pages的一些官方介绍资料： Transparent Huge Pages (THP) are enabled by default in RHEL 6 for all applications. The kernel attempts to allocate hugepages whenever possible and any Linux ...

linux 9 永久关闭 transparent-hugepage

最新发布

03-27

<think>好的，我现在需要帮助用户在Linux系统版本9中永久关闭透明大页（transparent_hugepage）功能。根据用户提供的引用内容，我需要先确认现有的解决方案是否适用，并考虑版本差异。首先，用户提到引用[1]中的方法是通过修改GRUB配置，在`GRUB_CMDLINE_LINUX=`参数后添加`transparent_hugepage=never`，然后更新GRUB。这种方法在CentOS 7.9上有效，但用户现在用的是版本9，可能是RHEL 9或其衍生版如CentOS Stream 9。我需要确认GRUB配置方法在较新版本中是否依然适用。接下来，引用[2]提到了检查透明大页状态的命令`cat /sys/kernel/mm/transparent_hugepage/enabled`，这在新版本中应该仍然有效。用户可能需要先检查当前状态，再验证配置是否生效。另外，引用[3]提到了在CentOS 7.9修改各种配置文件，但用户需要的是在版本9中操作。虽然系统版本不同，但GRUB配置文件的位置通常不变，可能在`/etc/default/grub`。不过，需要注意的是，RHEL 9及其衍生版可能默认使用GRUB2，配置步骤类似，但更新GRUB的命令可能不同，例如使用`grub2-mkconfig`。可能的步骤： 1. 编辑`/etc/default/grub`文件，在`GRUB_CMDLINE_LINUX`行添加参数。 2. 生成新的GRUB配置文件。 3. 重启系统使配置生效。 4. 验证透明大页是否已关闭。此外，是否有其他方法？比如通过systemd服务或内核参数文件，但GRUB方法更通用。需要确认在版本9中是否有变化，例如是否支持其他配置文件。需要提醒用户备份原配置文件，避免配置错误导致系统无法启动。另外，检查是否有其他依赖或服务会影响透明大页的设置，比如某些内存管理工具。最后，生成相关问题需要考虑用户可能遇到的后续问题，如验证步骤、其他禁用方法、临时禁用与永久禁用的区别，以及透明大页对系统性能的影响。</think>### 逐步说明在Linux系统（版本9）中永久关闭透明大页（Transparent HugePages, THP）功能，可通过以下步骤实现： 1. **修改GRUB配置文件** 打开终端，使用root权限编辑GRUB配置文件`/etc/default/grub`： ```bash sudo vi /etc/default/grub ``` 找到`GRUB_CMDLINE_LINUX`参数，在其末尾添加`transparent_hugepage=never`，例如： ``` GRUB_CMDLINE_LINUX="...原有参数... transparent_hugepage=never" ``` 保存并退出[^1]。 2. **重新生成GRUB配置** 运行以下命令更新GRUB配置（适用于基于RHEL/CentOS 9的系统）： ```bash sudo grub2-mkconfig -o /boot/grub2/grub.cfg ``` 对于UEFI系统，可能需要调整输出路径为`/boot/efi/EFI/redhat/grub.cfg`（具体路径根据发行版略有不同）。 3. **重启系统** ```bash sudo reboot ``` 4. **验证是否生效** 重启后执行以下命令检查透明大页状态： ```bash cat /sys/kernel/mm/transparent_hugepage/enabled ``` 若输出为`always madvise [never]`，表示已成功禁用[^2]。 --- ### 其他注意事项 - **临时禁用**：若需临时禁用（重启后失效），可执行： ```bash echo never | sudo tee /sys/kernel/mm/transparent_hugepage/enabled ``` - **内核参数优先级**：通过GRUB设置的参数优先级高于运行时修改，适合永久生效[^1]。 ---