黑猴子的家：IO 操作 HDFS 文件上传

最新推荐文章于 2021-12-04 21:00:00 发布

原创最新推荐文章于 2021-12-04 21:00:00 发布 · 112 阅读

0 ·

CC 4.0 BY-SA版权

HDFS 专栏收录该内容

39 篇文章

订阅专栏

本文详细介绍了如何使用Java API将本地文件上传到Hadoop HDFS系统中，包括配置信息对象创建、输入输出流操作及异常处理等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、Code -> GitHub

https://github.com/liufengji/hadoop_hdfs.git

2、Code

    @Test
    public void putFileToHDFS() throws Exception{
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"),configuration, "victor");
        
        // 2 创建输入流
        FileInputStream inStream = new FileInputStream(new File("e:/hello.txt"));
        
        // 3 获取输出路径
        String putFileName = "hdfs://node1:9000/user/victor/hello1.txt";
        Path writePath = new Path(putFileName);

        // 4 创建输出流
        FSDataOutputStream outStream = fs.create(writePath);

        // 5 流对接
        try{
            IOUtils.copyBytes(inStream, outStream, 4096, false);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(inStream);
            IOUtils.closeStream(outStream);
        }
    }