使用java代码连接HDFS

最新推荐文章于 2024-09-27 22:18:42 发布

原创最新推荐文章于 2024-09-27 22:18:42 发布 · 856 阅读

2 ·

CC 4.0 BY-SA版权

大数据同时被 2 个专栏收录

17 篇文章

订阅专栏

hadoop

7 篇文章

订阅专栏

该博客演示了如何在Linux环境中通过Java API进行HDFS文件系统的操作，包括连接HDFS、创建目录、上传文件、列出文件、从HDFS下载文件到本地、删除文件和目录。示例代码详细展示了相关步骤和方法。

	前提是输入localhost:50070可以正常进入网页

 Configuration conf=new Configuration();
        try {
            FileSystem fs= FileSystem.get(new URI("hdfs://192.168.175.100:9000"),conf,"root");
//创建文件夹
            fs.mkdirs(new Path("/testHDFS/java/hello"));

//上传文件
            fs.copyFromLocalFile(new Path("D:\\316.jpg"),new Path("/testHDFS/java/hello"));

//获取文件路径
            RemoteIterator<LocatedFileStatus> iter =
                    fs.listFiles(new Path("/testHDFS/java/hello"), true);
            while (iter.hasNext()){
                System.out.println(iter.next());
            }

//从云下载到本地
            fs.copyToLocalFile(new Path("/testHDFS/java/hello/316.jpg"),
                    new Path("./"));

//删除文件
            fs.deleteOnExit(new Path("/testHDFS/java/hello/316.jpg"));
//删除文件夹
            fs.delete(new Path("/testHDFS"),true);

            fs.close();

        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

args[0] args[1] 设置统一传入参数，在run/edit中 program argument中设置传入参数

在Linux中执行的，使用以下格式命令：
在这里插入图片描述