idea使用Hadoop集群（搭建及简单使用）

最新推荐文章于 2024-07-21 22:44:45 发布

原创

最新推荐文章于 2024-07-21 22:44:45 发布 · 2.5k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #idea #java

Hadoop-java

我们学习了HDFS架构及原理，此时我们来学习如何将Hadoop与Java相结合进行开发，这也是大家学习大数据最后打交道最多的内容，毕竟在linux上未免不是那么顺手… …是吧 …

1.首先配置好环境变量

新建一个系统变量

QQ截图20210317203956

2 新建Maven工程。

添加pom依赖，这里注意对应的hadoop版本

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13</version>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.12.1</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.18</version>
        </dependency>

        <!--hadoop-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId