【hadoop】在ieda编写创建文件夹的MapRuce程序

最新推荐文章于 2024-06-10 12:34:14 发布

原创

最新推荐文章于 2024-06-10 12:34:14 发布 · 405 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce

本文档详细介绍了如何在IDEA中创建一个MapReduce程序，用于在Hadoop环境中创建文件夹。从新建项目、编写代码，到配置参数、运行IDEA，再到打包上传jar文件至HDFS，并最终验证文件夹创建成功，每个步骤都有清晰的操作说明。

一、在idea里编写代码

1.新建一个项目，在项目里创建一个名为Mkdir的文件

一、在idea里编写代码

1.新建一个项目，在项目里创建一个名为Mkdir的文件

点开src包下面自己创建的文件夹，在文件夹右键点击New的Java Class

在弹出窗口输入Mkdir回车创建文件

回车完得到一个空白文件

2.编写代码

在文件中输入以下代码

public static void main(String[] args) throws IOException {
        if (args.length == 0) {
            System.out.println("创建文件夹失败！请传入一个路径参数作为要创建的文件");
        }
        String targetDir = args[0];

        //指定Hadoop的用户为root
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建一个配置对象
        Configuration conf = new Configuration();
        //设置fs.defaultFS属性，目的是创建一个DistributedFileSystem对象
        conf.set("fs.defaultFS", "hdfs://20210322017-master:9000");
        //获取一个FileSystem对象（文件系统对象）
        FileSystem fs = FileSystem.get(conf);

        //请求在HDFS上创建指定的文件夹
        boolean mkdir1 = fs.mkdirs(new Path(targetDir));
        if (mkdir1) {
            System.out.println("成功创建文件夹" + targetDir);
        }
        fs.close();
    }

输入的代码自己生成配置文件 3-7行