Maven构建HDFS API及相关操作

一、安装Maven

1、 配置系统环境变量

2、 验证-在cmd输入mvn –v

3、设置localRepository
例如我的repo位置为:D:\software\Maven\repo，在config文件夹中找到settings.xml

4、 测试-输入mvn help:system
执行完该命令后，在D:\software\Maven\repo下面会出现很多文件，这些文件就maven从中央仓库下载到本地仓库的文；只是为了进行一个测试，测试完之后可删除刚才下载的文件。

5、 在eclipse中关联Maven-window->preference->maven add maven的安装路径

6、 更改settings的位置

7、 用Maven创建一个标准化的Java项目
（1）采用命令行方式创建项目

(2)通过DOS进入刚才所构建的项目目录内部执行：(cd myHadoop)，执行mvn clean install

8、 启动eclipse，导入刚才创建的项目

9、 修改项目下的pom.xml，增加Hadoop依赖



10、再次执行mvn clean install

11、doop集群中下载一下三个配置文件：core-site.xml hdfs-site.xml mapred-site.xml

12、修改hdfs-site.xml文件，在之间添加如下内容

13、修改配置本地host-在C:\Windows\System32\drivers\etc下
192.168.10.111 hadoop-ha(Hadoop的namenode节点地址)

14、添加系统环境变量HADOOP_USER_NAME，值为admin(登录hadoop的用户)

Core-site.xml中的fs.defaultFS值

15、修改系统登陆用户名为Hadoop的登录用户名：admin

16、启动Hadoop平台，用命令“jps”查看各主机进程信息


二、程序测试
1、第一个HDFS API-myHadoop,创建/user/input/test2并查看


2、单元测试的setUp和tearDown方法

3、Java API操作HDFS文件
（1）创建目录，并查看


（2）创建文件，并查看


（3）文件重命名，并查看


(4)上传文件到HDFS，并查看


（5）查看某个文件下的所有文件

（6）查看文件块信息

4、HDFS API的应用
（1）Sequence File写操作

(2) Sequence File读操作，及执行程序后运行结果


(3)MapFile写操作

(4) MapFile读操作

如有想法，欢迎评论！