Hadoop学习笔记（三）：java操作Hadoop

1.启动hadoop服务。

2.hadoop默认将数据存储带/tmp目录下，如下图：

由于/tmp是linux的临时目录，linux会不定时的对该目录进行清除，因此hadoop可能就会出现意外情况。下面对这个配置进行修改。修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var/hadoop目录下

3.修改完毕后，重启hadoop服务(stop-dfs.sh、start-dfs.sh)，然后重新格式化namenode

hdfs namenode -format

4.使用java来操作hdfs

5.新建java项目，导入如下几个包：

a).hadoop安装目录下share/hadoop/common下的common包

b).hadoop安装目录下share/hadoop/common/lib下的所有包

c).hadoop安装目录下share/hadoop/hdfs下的hdfs包

6.新建java类HelloHDFS.java，测试java程序读取hadoop当中存储的文件。现在我的hadoop集群根目录当中有一个Hello.java文件，下面用java程序来读取它。

1 importjava.io.InputStream;2 importjava.net.URL;3 importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;4 importorg.apache.hadoop.io.IOUtils;5

6 public classHelloHDFS {7 public static void main(String[] args) throwsException {8 //设置URL流处理器工厂，即URL按照什么协议进行处理，默认的是HTTP协议的处理工厂

9 URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());10 URL url = new URL(“hdfs://192.168.17.100:9000/Hello.java”);11 InputStream is =url.openStream();12 IOUtils.copyBytes(is, System.out, 4096, true);13 　　　　 //4096表示缓冲区的大小，true表示执行完毕后系统会自动关闭流

14 }15 }

7.运行上述程序，观察结果，发现已经读取到了hadoop当中存储文件。

8.上述为方式一，下面介绍一种更好用的方式。

1 //方式二：

2 Configuration conf = newConfiguration();3 conf.set(“fs.defaultFS”, “hdfs://192.168.17.100:9000”);4 FileSystem fs =FileSystem.get(conf);5 boolean success = fs.mkdirs(new Path(“/skyer”));6 System.out.println(success);

上述代码为在hadoop根目录下创建一个skyer目录(如果原来就有该目录，会覆盖)，并打印创建结果，结果为true。若出现下图错误：

在core-site.xml文件中将dfs.permissions.enabled配置为false，或者输入以下命令hadoop fs -chmod 777 /修改hadoop根目录的权限(危险，不推荐)，还有一个方法是在windows机器上配置一个环境变量HADOOP-USER_NAME，还有一种方法是将

FileSystem fs = FileSystem.get(conf);

替换成

FileSystem fs = FileSystem.get(new URI(“hdfs://192.168.17.100:9000”),conf,“root”);

9.其他操作hadoop的示例，直接看代码：

1 public classHelloHDFS {2 public static void main(String[] args) throwsException {3 //方式二：

4 Configuration conf = newConfiguration();5 conf.set(“fs.defaultFS”, “hdfs://192.168.17.100:9000”);6 FileSystem fs =FileSystem.get(conf);7 boolean success = fs.mkdirs(new Path(“/skyer”)); //创建目录

8 System.out.println(success);9 success = fs.exists(new Path(“/skyer”)); //判断文件或者目录是否存在

10 System.out.println(success);11

12 success = fs.delete(new Path(“/skyer”), true);13 //删除，第二个参数为true的话会真正的删除文件，为false的话是将该文件放到垃圾桶里

14 System.out.println(success);15

16 //上传文件到hadoop

17 FSDataOutputStream out = fs.create(new Path(“/upload.data”), true);18 FileInputStream fis = new FileInputStream(“E://HelloHDFS.java”);19 IOUtils.copyBytes(fis, out, 4096, true);20

21 //列取目录下所有文件和目录的信息

22 FileStatus[] statuses = fs.listStatus(new Path(“/”));23 for(FileStatus status : statuses) {24 System.out.println(status.getPath());25 System.out.println(status.getPermission());26 System.out.println(status.getReplication());27 }28 }29 }

10.在master机器上输入命令hadoop fs -text /upload.data进行查看示例中上传的文件，类似linux里的cat命令