hdfs copyToLocalFile拷贝文件到本地

最新推荐文章于 2023-12-21 10:32:26 发布

花开彼岸天x

最新推荐文章于 2023-12-21 10:32:26 发布

阅读量1w

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/banana1006034246/article/details/84109049

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用Hadoop的copyToLocalFile函数从HDFS集群中拷贝文件到执行机的工作目录，避免了常见的FileSystem获取错误，并给出了正确的实现代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有时候需要将集群上的文件拷贝到执行机工作目录里，常使用copyToLocalFile函数
代码如下：

public static void getFileFromHDFS(String hdfssrc, String localdst) {
    Log.info("copy file from hdfs to local...");
    Configuration conf = new Configuration();
    Path src = new Path(hdfssrc);
    Path dst = new Path(localdst);
    try {
      FileSystem fs = src.getFileSystem(conf);
      fs.copyToLocalFile(false, src, dst, true);
      fs.close();
    } catch (IOException e) {
      e.printStackTrace();
    }
  }

FileSystem的获取很关键，如果使用 FileSystem fs= FileSystem.get(conf); 获取fs会出现类似如下错误
Error: java.lang.IllegalArgumentException: Wrong FS: hdfs://expected: viewfs://nsX/
大多数网上说的做法是把集群上的core-site.xml和hdfs-site.xml放到当前工程下，但这不是正规处理。正确做法是使用srcPath生成FileSystem