hadoop参数调优(hdfs-site.xml)

Hadoop集群配置详解：Block Size、Safe Mode与Node设置

最新推荐文章于 2023-02-15 21:54:57 发布

weixin_33775582

最新推荐文章于 2023-02-15 21:54:57 发布

阅读量202

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python

原文链接：https://my.oschina.net/figoisxjs/blog/129896

本文深入解析了Hadoop集群中关键参数的配置，包括Block Size、Safe Mode阈值及Data Node的线程数量设置。通过调整这些参数，可以优化数据读写效率和集群稳定性。

property	default	description
dfs.block.size	67108864	默认每個 block 是 64MB。如果確定存取的文件块都很大可以改為 134217728(128MB)。Client 也可自行决定要使用的 block size 而不需要更改整個 cluster 的设定。
dfs.safemode.threshold.pct	0.999f	Hadoop 启动时会进入 safe mode，也就是安全模式，這时是不能写入数据的。只有当99.9% 的 blocks 达到最小的 dfs.replication.min 数量(默认是3)才会离开safe mode。在 dfs.replication.min 设的比较大或 data nodes 数量比较多时会等比较久。
dfs.namenode.handler.count	10	设定 namenode server threads 的数量，这些 threads 會用 RPC 跟其他的 datanodes 沟通。当 datanodes 数量太多时会发現很容易出現 RPC timeout，解決方法是提升网络速度或提高这个值，但要注意的是 thread 数量多也表示 namenode 消耗的内存也随着增加
dfs.datanode.handler.count	3	指定 data node 上用的 thread 数量。
dfs.datanode.max.xcievers	256	这个值是指定 datanode 可同時处理的最大文件数量
dfs.datanode.du.reserved	0	默认值表示 data nodes 会使用整个磁盘，写满之后会导致无法再写入 M/R jobs。如果还有其他程式共用这些目录也会受到影响。建议保留至少 1073741824(1G) 的空间。