MapReduce 集群程序之本地windows运行

最新推荐文章于 2022-07-05 09:28:07 发布

原创

最新推荐文章于 2022-07-05 09:28:07 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs #mapreduce

本文介绍了在Windows上运行MapReduce集群程序的步骤，包括环境准备、数据准备、配置Hadoop集群、编写MapReduce代码（Mapper、Reducer、Driver类）及程序执行。强调了配置文件的重要性以及代码配置、项目资源文件配置和Hadoop安装目录配置的优先级。

MapReduce 集群程序之本地windows运行

1.环境准备

Idea 2020版，如果可以，请支持正版Idea，因为破解版本确实会出现一些奇奇怪怪的bug。正版不会，相信这肯定是偶然现象。
创建maven项目
1.配置的pom.xml文件中添加以下依赖信息。
2.检查Idea中关于maven的设置，主要是maven安装路径，maven的settings.xml文件以及maven本地仓库目录路径。

<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.2.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>3.2.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.68</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop<