Hadoop常用参数整理（HDFS/Yarn/MapReduce/GC）

九师兄

于 2019-05-15 21:44:26 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-hadoop

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/90245840

131 篇文章 ¥29.90 ¥99.00

订阅专栏

这篇博客总结了Hadoop中HDFS、Yarn和MapReduce的关键参数调优建议，包括DataNode、NameNode、YARN的ResourceManager和NodeManager的内存设置，以及MapReduce任务的内存分配。还讨论了进程的GC配置，以提高性能和稳定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

最近整理了一些常用的Hadoop集群相关配置参数，并对相关参数进行调优，其中有一些参数能影响到集群的性能等问题，需谨慎使用。本来想在这里把Hbase参数也带上的，由于Hbase参数调优细节太多，所以单独抽了出来，在未来的几天内我会补上。

Hadoop HDFS组件的相关参数说明，本文没有说明某个参数对应哪个配置文件（笔者使用商业版集群，所以就没有一一去找）：

参数名称	参数默认值	描述
dfs.block.size,dfs.blocksize	134217728	以字节计算的新建 HDFS 文件默认块大小。请注意该值也用作 HBase 区域服务器 HLog 块大小。
dfs.replication	3	HDFS文

了解本专栏