IDEA对于Hadoop的配置

最新推荐文章于 2024-02-06 12:07:39 发布

原创最新推荐文章于 2024-02-06 12:07:39 发布 · 459 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#HDFS

Hadoop 专栏收录该内容

20 篇文章

订阅专栏

本文详细介绍了如何在IDEA中配置Hadoop环境，包括修改本地仓库路径及使用阿里云镜像加速Jar包下载，同时展示了如何通过Maven引入Hadoop及相关依赖，如hadoop-common、hadoop-hdfs、hadoop-client等，以实现高效的大数据开发。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- IDEA对于Hadoop的配置
- - - 镜像设置
    - Maven设置

IDEA对于Hadoop的配置

镜像设置

修改本地windows路径{$MAVEN_HOME/conf/settings}的settings文件。

<!--本地仓库所在位置-->
<localRepository>F:\m2\repository</localRepository>

<!--使用阿里云镜像去下载Jar包，速度更快-->
  <mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
    </mirror>
  </mirrors>

Maven设置

引入相关依赖

<dependencies>
<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.8.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.8.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.8.4</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.10</version>
        </dependency>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.7</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/junit/junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
   </dependencies>