hadoop的配置文件记录

Hadoop datanode配置调优

最新推荐文章于 2024-04-02 11:05:46 发布

原创最新推荐文章于 2024-04-02 11:05:46 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

21 篇文章

订阅专栏

本文记录了作者在Hadoop集群配置调优过程中的实践经验，主要关注如何通过调整datanode的配置来实现定期清理无用数据块，包括调整块报告间隔时间和心跳间隔时间等关键参数。

记录自己试验过程中调优hadoop配置的日志。

1. 遇到个问题：datanode硬盘空间不够大，想让hadoop定期删除无用的数据块。

<property> 
    <name>dfs.blockreport.intervalMsec</name> 
    <value>3600000</value> 
    <description>Determines block reporting interval in milliseconds.</description> 
</property>

在hdfs-default.xml中默认配置是3600000ms（1h），即每隔1个小时datanode向namenode汇报存储在自己节点上的所有数据块信息，我改成了60000ms。

还有个参数

dfs.heartbeat.interval

默认是3s，即datanode发送心跳包的间隔时间，其实真正执行在datanode上删除哪一个数据块的命令是namenode发出的，这个命令不是namenode主动发出的（namenode从不主动联系datanode），而是当namenode接到datanode节点的心跳包之后会发送一个响应包，同时这个响应包会顺便捎带namenode给datanode节点的一些命令。

2. 待续...