hadoop集群系统优化

最新推荐文章于 2024-05-14 10:25:55 发布

张浚哲

最新推荐文章于 2024-05-14 10:25:55 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： linux hadoop2 文章标签：系统优化 linux hadoop集群

本文链接：https://blog.youkuaiyun.com/u014516601/article/details/81433922

本文详细介绍了针对Hadoop集群的系统优化措施，包括提高文件打开限制、禁用Swap以提升性能、调整网络参数、设置Selinux和Umask以及监控内存分配策略，确保大数据系统在生产环境中的稳定高效运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Ulimit 配置

操作系统默认只能打开 1024 个文件，打开的文件超过这个数发现程序会有“too many open files”的
错误，1024 对于大数据系统来说显然是不够的，如果不设置，基本上整个大数据系统是“不可用的”，根
本不能用于生产环境。

配置方法如下：

echo "* soft nofile 128000" >> /etc/security/limits.conf
echo "* hard nofile 128000" >> /etc/security/limits.conf
echo "* soft nproc 128000" >> /etc/security/limits.conf
echo "* hard nproc 128000" >> /etc/security/limits.conf
cat /etc/security/limits.conf
sed -i 's/1024/unlimited/' /etc/security/limits.d/90-nproc.conf
cat /etc/security/limits.d/90-nproc.conf
ulimit -SHn 128000
ulimit -SHu 128000
2. Swap 问题

在 10~20 年前一台服务器的内存非常有限，64m~128m，所以通过 swap可以将磁盘的一部分空间用于
内存。但是现今我们的服务器内存普遍达到了 64G以上，内存已经不再那么稀缺，但是内存的读取速度与
磁盘的读取相差倍数太大，如果我们某段程序使用的内存映射到了磁盘上，将会对程序的性能照成非常严
重的影响，甚至导致整个服务的瘫痪。所以一定要禁止使用 Swap.

禁用方法如下，让操作系统尽量不使用 Swap：

echo "vm.swappiness=1" >> /etc/sysctl.conf
sysctl -p
sysctl -a|grep swappiness