hadoop API 写入HDFS简单注释

最新推荐文章于 2024-06-28 17:02:14 发布

西电一枝花

最新推荐文章于 2024-06-28 17:02:14 发布

阅读量1.5k

点赞数

分类专栏： Hadoop 文章标签： hadoop api string dst exception import

本文链接：https://blog.youkuaiyun.com/lilin_xdu/article/details/6697565

版权

Hadoop 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了一个使用Java实现的Hadoop文件上传工具，该工具能够在上传文件到Hadoop文件系统的过程中显示上传进度。通过继承Progressable接口并在FSDataOutputStream中实现进度更新，实现了文件上传过程中的进度反馈。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
// vv FileCopyWithProgress
public class FileCopyWithProgress {
  public static void main(String[] args) throws Exception {
    String localSrc = args[0];
    String dst = args[1];
    
    InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
    //建立一个本地的InputStream
    Configuration conf = new Configuration();//建立接口
    FileSystem fs = FileSystem.get(URI.create(dst), conf);//创建文件系统实例
    OutputStream out = fs.create(new Path(dst), new Progressable() {
      public void progress() {
        System.out.print(".");
      }//通过实例创建管道 create方法返回的是FSDataOutputStream对象
    });
    
    IOUtils.copyBytes(in, out, 4096, true);//通过管道进行写入
  }
}