Hadoop java 远程操作注意 Configuration

最新推荐文章于 2024-08-14 23:35:48 发布

原创最新推荐文章于 2024-08-14 23:35:48 发布 · 902 阅读

0 ·

CC 4.0 BY-SA版权

java 同时被 2 个专栏收录

9 篇文章

订阅专栏

hadoop

1 篇文章

订阅专栏

本文提供了一个使用Java在Hadoop中创建目录的示例代码。通过设置Hadoop的配置参数，并利用DistributedFileSystem实现目录的创建。示例中详细展示了如何加载配置文件并设置必要的属性。

public class HmkdirsFromEclipse {

public static void main(String[] args) throws IOException { 
       Configuration conf = new Configuration();  
       conf.addResource("/etc/hadoop/conf/core-site.xml");
       conf.addResource("/etc/hadoop/conf/hdfs-site.xml");
       conf.set("fs.defaultFS", "hdfs://quickstart.cloudera:8020/");
       conf.set("hadoop.job.ugi", "cloudera");
       conf.set("fs.hdfs.impl",    org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
       FileSystem fs = FileSystem.get(conf); 
       boolean success = fs.mkdirs(new Path("/user/cloudera/testdirectory9"));
       System.out.println(success);
}


若部署在在hadoop 服务器上，
可以直接指向 conf.addResource("/etc/hadoop/conf/core-site.xml");
路径,
若不在haddoop 服务器上，可以复制两个 xml 文件到工程 src 目录下。
其中  conf.set("hadoop.job.ugi", "cloudera"); 
配置的是hadoop服务器名称