hadoop(mapreduce)问题:向集群上传dfs文件,内容显示为空
做Windows搭建hadoop环境作业时碰到了这个问题:此处一直为0b,因为技术欠佳,做坐了很久才找到解决方式
上传dfs文件,但上传后没有任何数据!通过参照参考后,完美解决!
问题原因:
hadoop namenode -format格式化时格式化了多次(虽然我刚开始就不可以)造成那么spaceID不一致
解决方式:
其实虚拟机集群和Windows搭建hadoop环境相似,我这次做的的是Windows搭建
- 首先关闭集群!
stop-all.cmd
在自动生成的Omysoftware里这两个文件夹下自动生成了data,tmp内容。把data,tmp删掉,自己再建空的data,tmp文件夹 - 然后在D:\hadoop-2.6.0\sbin(我的)重新格式化namenode
hadoop namenode -format
,我看了有一篇文章,选了’N’,选’Y’应该也可以? - D:\hadoop-2.6.0\sbin(我的)
start-all.cmd
启动集群 - 重新refresh,或者上传dfs文件!成功!