SpringBoot调用Hadoop获取文件的内容、文件列表、存储用量和内容追加、WordCount计算（附Hadoop快速搭建）

亚伯拉罕·冯

已于 2022-05-26 10:42:35 修改

阅读量2.7k

点赞数 2

分类专栏：笔记文章标签： hadoop mapreduce hdfs springboot

于 2022-04-17 01:34:50 首次发布

本文链接：https://blog.youkuaiyun.com/FHlang/article/details/124223762

版权

本文介绍了如何使用SpringBoot调用Hadoop进行文件内容的读取和追加，以及如何封装MapReduce的WordCount进行字符统计。首先，通过DockerCompose快速搭建Hadoop伪集群，然后在Windows上配置连接所需组件。接着，展示了SpringBoot的HadoopConfig、HadoopController和HadoopTemplate的使用，实现了文件操作。最后，实现了WordCountMapper和WordCountReducer，并进行了测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

伪集群的一键安装

推荐一篇不错的文章，真的一行命令自动配置、自动运行，省时费力

DockerCompose一键安装Hadoop

使用Windows连接hadoop需要下载安装好winutils.exe、hadoop.dll等插件才能正常连接

SpringBoot使用HDFS做文件内容的读取和追加

这里假设云服务器的ip为：192.168.110.120

记得修改Windows的hosts文件使主机的datanode名称能映射成192.168.110.120

HadoopConfig

@Configuration
public class HadoopConfig {
   

    @Bean("hdfsConfig")
    public org.apache.hadoop.conf.Configuration hdfsChannel(){
   
        org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration();
        conf.set("dfs.replication", "1");
        conf.set("dfs.client.use.datanode.hostname", "true");
        conf.set("mapred.job.tracker", "hdfs://192.168.110.120:8020/");
        conf.set("fs.defaultFS", "hdfs://192.168.110.120:8020/");
        System.setProperty("HADOOP_USER_NAME","root");
        return conf;
    }

    @Bean("fileSystem")
    public FileSystem createFs(@Qualifier("hdfsConfig") org.apache.hadoop.conf.Configuration conf){
   
        FileSystem fs = null;
        try {
   
            URI uri = new URI("hdfs://192.168.110.120:8020/");
            fs = FileSystem.get(uri,conf);
        } catch (Exception e) {
   
            e.printStackTrace();
        }
        return  fs;
    }

}

HadoopController

@RestController
@RequestMapping(value = "/hadoop")
public class HadoopController {
   

    @Autowired
    private HadoopTemplate template;

    @GetMapping(value = "/read")
    public String read(@RequestParam("name") String name){
   
        template.readTo(template.getNameSpace(),"/"+name,4096);
        return "read success";
    }

    @GetMapping(value = "/write")
    public String weite(@Re