MapReduce 集群程序之Yarn运行

闻香识代码

于 2020-08-20 20:55:54 发布

阅读量580

点赞数

分类专栏：大数据 hadoop mapreduce 文章标签： hadoop hdfs mapreduce

本文链接：https://blog.youkuaiyun.com/xiaohu21/article/details/108130772

版权

本文详细介绍了如何在Hadoop 3.2.1集群上运行MapReduce程序。从准备环境、配置Hadoop、启动集群到编写WordCount应用，包括自定义Mapper、Reducer和Driver类，再到打包、上传jar包、运行程序及验证结果，每个步骤都给出了具体操作指导。遇到问题时，建议进行代码检查和清理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MapReduce 集群程序之Yarn运行

1. 准备环境

Idea，请使用正版。破解版亲测确实会有一些奇怪的bug
创建maven项目
pom.xml文件中，把相关依赖jar包信息写上。
这里是Hadoop 3.2.1版本，不是官方最新，但相对稳定。
注意，maven虽然可以自己进行依赖jar包管理，但如果引入的多个jar包本身版本之间不兼容，也是会出问题的。

<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.2.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId

最低0.47元/天解锁文章