打开Eclipse,新建java project,将相关的hadoop包导入lib,
具体方法见:https://blog.youkuaiyun.com/qq_25948717/article/details/80428129
选中lib下的所有jar包,右键,Add to Build Path,即可把所有jar包添加到path环境中,Reference中可以看到。
创建com.hdfs包,新建mkdirHdfsFile.class

在右边选中要运行的testMkdir(),右键-->Run As--->Junit Test.Console显示成功,
注意设置登陆用户要和hadoop安装目录的所属用户一致。否则会因为权限问题失败

在terminal中输入hadoop fs -ls /可以看到所创建的文件

上传资源至hdfs系统:

命令查看:

注意:hdfs系统中的/和我们本地的/不一样,上传的文件已经分块存在磁盘中了,只有通过hdfs命令才能看上传后的资源名
通过linux名只能看到资源分块编号:

hdfs是假设在linux系统文件之上,通过linux无法查看:

即:在hadoop启动的情况下,通过创建java项目,使用haddop的jar包,可以对本地的hdfs文件系统进行操作。

本文详细介绍如何在Eclipse中配置Hadoop环境,并利用Java API进行HDFS文件操作的具体步骤,包括项目搭建、依赖导入及运行测试案例。
6199

被折叠的 条评论
为什么被折叠?



