HDFS组件相关问题-持续更新

异常信息:

The directory item of /warehouse/tablespace/external/hive/xxx  is exceeded: limit 1048576 items=1048576

解决:

增加参数值:dfs.namenode.fs-limits.max-directory-items  默认为1048576

异常信息:

Unable to close file because the last block BP-1526737994-134.64.12.11-1461079857466:blk_22515616209_23721099359 does not have enough number of replicas.

原因:

最后一个block块没有足够的副本而不能关闭文件会抛出此异常. 一般是和datanode节点资源以及磁盘IO 有关系(需要具体排查)

解决:

一般都是通过增加重试次数来缓解: dfs.client.block.write.locateFollowingBlock.retries