MR作业报错 limit=1048576 items=1048576

咖啡F

已于 2023-03-08 16:43:59 修改

阅读量552

点赞数

分类专栏： hdfs 文章标签： mr hadoop hdfs

于 2023-03-08 16:40:26 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43697701/article/details/129406418

版权

hdfs 专栏收录该内容

5 篇文章

订阅专栏

1、报错如下

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /xxx/xxxx/xxxx/xxxxx/xxxxx is exceeded: limit=1048576 items=1048576

2、原因

这是HDFS默认的一个参数
dfs.namenode.fs-limits.max-directory-items
默认是1048576，表示目录包含的最大项目数
官方解释如下，最大可配置到6400000
在这里插入图片描述
实际生产一般不进行修改，如果个别任务有报错，对该报错目录历史不用数据进行备份归档，迁移到别的目录即可。