hdfs有多级目录合并文件下载到本地（递归下载）

最新推荐文章于 2024-11-05 15:29:55 发布

原创

最新推荐文章于 2024-11-05 15:29:55 发布 · 3.6k 阅读

2 ·

CC 4.0 BY-SA版权

该代码示例展示了如何使用Hadoop的FileSystem API从HDFS中递归下载多级目录下的所有文件，并将它们合并到本地的一个文件中。通过调用`myMerge()`方法，可以实现HDFS路径`/data2`下所有文件的下载和合并，最终保存到本地的`D:/data/file0913.txt`。

package com.hdfs;

import java.io.FileOutputStream;
import java.io.OutputStream;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import com.beicai.utils.MyUtils;
/**
*
* @described hdfs有多级目录合并下载到本地
*
*/
public class HdfsWork2 {
public static void main(String[] args) throws Exception {
myMerge();
}

public static void myWrite(Path path,FileSystem fs,OutputStream fsdos) throws Exception{