hadoop文件操作错误---org.apache.hadoop.ipc.RemoteException(java.io.IOException)

最新推荐文章于 2024-03-26 07:05:44 发布

沐雨金鳞

最新推荐文章于 2024-03-26 07:05:44 发布

阅读量4k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据大数据文章标签： hadoop文件操作错误

本文链接：https://blog.youkuaiyun.com/qq_38262266/article/details/79162879

大数据同时被 2 个专栏收录

50 篇文章

订阅专栏

大数据

32 篇文章

订阅专栏

本文介绍Hadoop中磁盘使用情况显示为0的问题及其解决步骤，包括停止dfs服务、清理并重建data和tmp目录、重新格式化namenode等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用hadoop dfsadmin -report命令查看磁盘使用情况

如果是下面的情况

Configured Capacity: 0 (0 B)  
Present Capacity: 0 (0 B)  
DFS Remaining: 0 (0 B)  
DFS Used: 0 (0 B)  
DFS Used%: NaN%  
Under replicated blocks: 0  
Blocks with corrupt replicas: 0  
Missing blocks: 0  
-------------------------------------------------  
Datanodes available: 0 (0 total, 0 dead)

这个问题的原因是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致

解决方案：
1、停止dfs
$./stop-dfs.sh
2、删除在hdfs中配置的data目录和tmp目录
$ rm -r /home/data
$ rm -r /home/tmp
重新创建data目录和tmp目录
$ mkdir data
$ mkdir tmp
3、重新格式化namenode
$ hadoop namenode -format
4、重新启动dfs
$./start-dfs.sh
5、查看dfs
$  jps

使用hadoop dfsadmin -report查看使用情况

Hostname: master
Decommission Status : Normal
Configured Capacity: 16775028736 (15.62 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 8850161664 (8.24 GB)
DFS Remaining: 7924842496 (7.38 GB)
DFS Used%: 0.00%
DFS Remaining%: 47.24%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Wed Jan 24 23:29:54 PST 2018

类似这样，则成功