java api为集群创建目录的四种方式

最新推荐文章于 2021-09-29 17:51:28 发布

转载最新推荐文章于 2021-09-29 17:51:28 发布 · 407 阅读

本文提供了一个使用Java API创建HDFS目录的具体示例。通过设置Hadoop配置参数，包括指定NameNode地址，并利用FileSystem对象进行目录创建操作。示例中展示了四种不同目录的创建过程。

package demo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

/*
* 创建目录：HDFS的权限
* 方式一： System.setProperty("HADOOP_USER_NAME", "root");
* 方式二：Java的-D参数
*       -DHADOOP_USER_NAME=root
*
* 方式三：hdfs dfs -chmod 777 /
* 方式四：dfs.permissions参数
*
*/
public class Demo1 {

   @Test
   public void testMkDir1() throws Exception{
       //设置我自己是谁
       System.setProperty("HADOOP_USER_NAME", "root");

       //设置参数信息
       Configuration conf = new Configuration();
       //设置NameNode的地址
       conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");

       //创建一个客户端
       FileSystem fs = FileSystem.get(conf);
       //创建目录
       fs.mkdirs(new Path("/folder1"));
   }

   @Test
   public void testMkDir2() throws Exception{
       //设置参数信息
       Configuration conf = new Configuration();
       //设置NameNode的地址
       conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");

       //创建一个客户端
       FileSystem fs = FileSystem.get(conf);
       //创建目录
       fs.mkdirs(new Path("/folder2"));
   }

   @Test
   public void testMkDir3() throws Exception{
       //设置参数信息
       Configuration conf = new Configuration();
       //设置NameNode的地址
       conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");

       //创建一个客户端
       FileSystem fs = FileSystem.get(conf);
       //创建目录
       fs.mkdirs(new Path("/folder3"));
   }

   @Test
   public void testMkDir4() throws Exception{
       //设置参数信息
       Configuration conf = new Configuration();
       //设置NameNode的地址
       conf.set("fs.defaultFS", "hdfs://192.168.137.111:9000");

       //创建一个客户端
       FileSystem fs = FileSystem.get(conf);
       //创建目录
       fs.mkdirs(new Path("/folder4"));
   }
}