MR的单词计数小程序

关注

VIP免费原创最新推荐文章于 2026-04-01 10:03:10 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

大数据学习心路：从Java基础到Hadoop生态的实战闭环大数据技术体系的核心在于构建高效、可扩展的数据处理能力，其原理基于分布式计算和存储架构，旨在解决海量数据的采集、存储、计算与分析难题。从编程基础与数据思维入手，深入理解单机环境下的并发、网络与IO模型，是掌握分布式框架的基石。以Hadoop生态为例，通过搭建伪分布式及完全分布式集群，实践MapReduce编程模型，能够深刻领会分布式计算的“分而治之”思想与容错机制。这种“以战养兵，问题驱动”的学习方法，强调将理论学习、环境搭建、项目实战与面试复盘形成闭环，其技术价值在于培养快速吸收新知识并解决实际问题的工程阅读详情

----------------------------------主程序入口----------------------------------
package com.demo01.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class JobMain extends Configured implements Tool {
    /**
     *主程序入口
     * @param args
     */
    public static void main(String[] args) throws Exception {

        //这里执行完成，返回一个程序退出状态码  0成功
        //这里设置configguration相当于给父类赋值了
        int run = ToolRunner.run(new Configuration(),new JobMain(),args);

        System.exit(run);