Java代码实现读写HDFS文件

原创已于 2025-11-06 10:58:34 修改 · 891 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#java #hdfs #hadoop #分布式 #大数据

于 2025-10-30 11:54:52 首次发布

Hadoop 专栏收录该内容

3 篇文章

订阅专栏

最近学校的hadoop课程在学习idea环境下编写读写HDFS文件代码，但是现在网上大部分教程的idea版本都比较老，大部分对不上，所以这里写一个教程，也供自己熟悉理解。废话不多说，我们开始~

一、启动集群

首先，确保你的集群启动成功，这里xcall jps，三台机子上面的东西缺一不可。

二、创建Maven工程

三、修改pro.xml文件

在pro.xml文件中，将下面这段部分粘贴上去，多余部分删除。

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.3.4</version>
</dependency>

然后右击你的项目，最下面有一个maven，悬浮后点击Sync Project,稍等片刻，，如果你的pro.xml不会爆红，证明ok了。

四、写Java文件

在java目录下面点击新建一个类，输入com.qingyue.WriteFile，把下面代码部分粘贴进去。注意，如果你的主机不叫Hadoop100，不要跟着我写，把String dest = "hdfs://Hadoop100:8020/user/hadoop/text1.txt";

其中的Hadoop100修改为你的主机

package com.qingyue;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;

public class WriteFile {

    public static void main(String[] args) throws IOException {
        String content = "Hello,xunfang!\n";
        String dest = "hdfs://Hadoop100:8020/user/hadoop/text1.txt";

        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration);
        FSDataOutputStream out = fileSystem.create(new Path(dest));
        out.write(content.getBytes("UTF-8"));
        out.close();

    }
}

再点击新建一个类，输入com.qingyue.ReadFile

package com.qingyue;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.*;
import java.net.URI;

public class ReadFile {
    public static void main(String[] args) throws IOException {
        String dest = "hdfs://Hadoop100:8020/user/hadoop/text1.txt";
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration);
        FSDataInputStream in = fileSystem.open(new Path(dest));
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in));
        String line = null;
        while ((line = bufferedReader.readLine()) != null) {
            System.out.println(line);
        }
        in.close();
    }
}

把上面代码部分粘贴进去。注意，如果你的主机不叫Hadoop100，不要跟着我写，把String dest = "hdfs://Hadoop100:8020/user/hadoop/text1.txt";

其中的Hadoop100修改为你的主机