HDFS使用流的方式上传下载

最新推荐文章于 2025-09-10 10:06:31 发布

weixin_30809173

最新推荐文章于 2025-09-10 10:06:31 发布

阅读量93

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java

原文链接：http://www.cnblogs.com/sangumaolu/p/8545619.html

本文介绍了一种使用Java API通过流方式实现HDFS文件上传和下载的方法。具体包括配置Hadoop环境、创建文件系统的实例、使用输入输出流进行文件传输等关键步骤。

主代码

package api;


import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 * 使用流的方式上传下载
 * @author potter
 *
 */
public class HDFS_GET_AND_PUT {

    public static void main(String[] args) throws Exception {
        
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://potter2:9000");
        System.setProperty("HADOOP_USER_NAME","potter");
        FileSystem fs = FileSystem.get(conf);
        
        //上传
//        fs.copyFromLocalFile(new Path("D:/aaa.txt"), new Path("/"));
        //下载
//        fs.copyToLocalFile(new Path("/aaa.txt"), new Path("D:/sss.txt"));
        
        /**
         * 使用流的方式上传文件
         */
        //读取本地文件
        InputStream in = new FileInputStream("D:/111.zip");
        //在Hdfs上创建一个文件，返回输出流
        OutputStream out = fs.create(new Path("/111.zip"));
        //输入 ---》  输出
        IOUtils.copyBytes(in, out, 4096, true);
        
        /**
         * 使用流的方式下载文件
         */
        //读取HDFS上的文件
        /*InputStream in = fs.open(new Path("/words.txt"));
        //在本地创建一个文件，返回输出流
        OutputStream out = new FileOutputStream("D:/word.txt");
        IOUtils.copyBytes(in, out, 4096, true);*/
        
        fs.close();
    }
}