HDFS参数总结

最新推荐文章于 2020-12-18 23:30:54 发布

城-南-旧-梦

最新推荐文章于 2020-12-18 23:30:54 发布

阅读量1k

点赞数 2

本文链接：https://blog.youkuaiyun.com/sinat_36894556/article/details/107418030

版权

HDFS一些高级参数总结

DN向NN汇报当前节点块信息的时间间隔，默认6个小时

<property>
  <name>dfs.blockreport.intervalMsec</name>
  <value>21600000</value>
  <description>Determines block reporting interval in milliseconds.</description>
</property>

DN扫描自己节点块信息列表的时间，默认6个小时

<property>
  <name>dfs.datanode.directoryscan.interval</name>
  <value>21600s</value>
  <description>Interval in seconds for Datanode to scan data directories and
  reconcile the difference between blocks in memory and on the disk.
  Support multiple time unit suffix(case insensitive), as described
  in dfs.heartbeat.interval.
  </description>
</property>

DN扫描自己节点块信息列表的时间间隔为6个小时，然后DN向NN汇报块信息的时间间隔也是6小时，因此当HDFS上的文件的一些块多了或者少了以后，要等很久，NN才能恢复过来，可以修改这两个参数优化此功能。