首先,启动Hadoop集群服务

然后在浏览器访问Hadoop,点击Browse the file system 查看HDFS文件系统的目录

可以看到目前HDFS文件系统的目录是空的,没有任何的文件和文件夹,下面开始今天的API操作

一、创建Maven项目
首先,打开IDEA,点击新建项目,在左侧中选择Maven,然后直接点击next

设置项目名称,点击Finish

点击右下角的 Enable Auto-Import(自动导入Jar包文件),一个空的Maven项目就创建完毕啦

二、导入依赖
首先编辑pom.xml(Maven项目的核心文件)文件,添加如下内容,导入依赖(所需jar包)
org.apache.hadoop
hadoop-common
2.7.4
org.apache.hadoop
hadoop-hdfs
2.7.4
org.apache.hadoop
hadoop-client
2.7.4
junit
junit
4.12

IDEA会自动保存文件并且导入依赖包,点击右侧的Maven,展开Dependencies,可以看到四个依赖包以及导入进来了

本文详细介绍了如何使用Java API操作Hadoop的HDFS文件系统,包括创建Maven项目、导入依赖、初始化配置以及具体的HDFS文件操作,如上传、下载、查看、创建目录和重命名文件。文中还提供了详细的测试代码示例,适合Hadoop初学者参考学习。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



