eclipse上传到dfs的文件内容显示为空

在Windows上搭建Hadoop环境时遇到向DFS上传文件内容为空的问题,原因是多次执行hadoop namenode -format导致spaceID不一致。解决方法包括删除data和tmp文件夹,重新格式化namenode并启动集群。

hadoop(mapreduce)问题:向集群上传dfs文件,内容显示为空

做Windows搭建hadoop环境作业时碰到了这个问题:此处一直为0b,因为技术欠佳,做坐了很久才找到解决方式此处为0b

上传dfs文件,但上传后没有任何数据!通过参照参考后,完美解决!
问题原因:
hadoop namenode -format格式化时格式化了多次(虽然我刚开始就不可以)造成那么spaceID不一致
解决方式:
其实虚拟机集群和Windows搭建hadoop环境相似,我这次做的的是Windows搭建

  1. 首先关闭集群!stop-all.cmd在自动生成的Omysoftware里这两个文件夹下自动生成了data,tmp内容。把data,tmp删掉,自己再建空的data,tmp文件夹在这里插入图片描述
  2. 然后在D:\hadoop-2.6.0\sbin(我的)重新格式化namenodehadoop namenode -format,我看了有一篇文章,选了’N’,选’Y’应该也可以?
  3. D:\hadoop-2.6.0\sbin(我的)start-all.cmd启动集群
  4. 重新refresh,或者上传dfs文件!成功!

如何知道自己是否是因为hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致而造成的问题呢?

在这里插入图片描述

hadoop dfsadmin -report
Configured Capacity: 0 (0 B)  
Present Capacity: 0 (0 B)  
DFS Remaining: 0 (0 B)  
DFS Used: 0 (0 B)  
DFS Used%: NaN%  
Under replicated blocks: 0  
Blocks with corrupt replicas: 0  
Missing blocks: 0  

这个问题的原因是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致

如果没有问题的话,应该为:

Hostname: master
Decommission Status : Normal
Configured Capacity: 16775028736 (15.62 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 8850161664 (8.24 GB)
DFS Remaining: 7924842496 (7.38 GB)
DFS Used%: 0.00%
DFS Remaining%: 47.24%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Wed Jan 24 23:29:54 PST 2018

通过参照参考后,完美解决!感谢!!!
不管是虚拟机,还是windows配,真的是很像!不禁想起去年用虚拟机也遇到了此类问题。哈哈哈

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值