HDFS利用JavaAPI进行文件读写

人间怪物

于 2018-12-10 14:45:41 发布

阅读量2.4k

点赞数

文章标签： hdfs文件读写操作

本文链接：https://blog.youkuaiyun.com/qq_41975699/article/details/84931394

版权

本文介绍了如何在CDH版Hadoop中利用JavaAPI进行HDFS文件系统的读写操作，包括获取FileSystem的四种方法及递归遍历HDFS文件路径的两种方式，同时涵盖了从HDFS上传文件到本地以及创建HDFS文件夹和小文件合并等实用技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

cdh版Hadoop的jar包导入地址:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo.html

https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_514x.html

获取分布式文件系统

第一种方式：调用FileSystem的get（Configuration configuration）方法

  @Test
  public  void getFileSystem1() throws IOException {
      Configuration configuration = new Configuration();
        //覆盖hdfs配置，得到分布式文件系统
       configuration.set("fs.default","hdfs://node01:8020/");
       FileSystem fileSystem = FileSystem.get(configuration);
       System.out.println(fileSystem);

最低0.47元/天解锁文章