操作Hadoop配置Maven的pom.xml

本文介绍如何配置适用于Hadoop 2.7.5版本的Maven项目,包括设置Hadoop版本、引入必要的依赖库如hadoop-common、hadoop-client等,并配置JDK 1.8环境。

我配置的是按照我自己的实际情况来配置的
我的hadoop版本是2.7.5
我的jdk版本是1.8

没有打注释可能很多小伙伴看不懂要配置哪里
所以我修改的地方我打注释,所以复制的时候记得把我的注释的删除处理

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.mv</groupId>
  <artifactId>Hadoop</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>Hadoop</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <hadoop.version>2.7.5</hadoop.version> <!-- 修改 -->
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    <!-- jdk --> <!-- 添加以下全部 -->
    <dependency>
      <groupId>jdk.tools</groupId>
      <artifactId>jdk.tools</artifactId>
      <version>1.8</version>
      <scope>system</scope>
      <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <!-- hadoop start -->

    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.5</version>
        <scope>provided</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.5</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.5</version>
    </dependency>
    <!-- hadoop end -->

  </dependencies>
</project>

不知道为什么要这么添加或者是想添加其他组件的可以去官网上看https://mvnrepository.com
想要什么直接搜索就好了

在IntelliJ IDEA中配置Maven项目的pom.xml和hdfs.xml文件的方法如下: ### pom.xml文件配置 - **本地Maven环境配置**:可参考往期发布内容“如何在 IntelliJ IDEA 中配置 Maven 项目并使用 Java 8_idea配置java8”,链接为https://blog.csdn.net/qq_57629629/article/details/143734290?spm=1001.2014.3001.5501 [^1]。 - **修改仓库地址与依赖配置**:在配置setting.xml修改远程和本地仓库地址后,于Intellij IDEA编辑pom.xml配置依赖。修改完成后,Intellij右上角会提示“Maven projects need to be Imported”,点击“Import Changes”以更新依赖,或者点击“Enable Auto Import” [^2]。 - **特定项目配置**:若要利用IDEA通过创建Maven项目来实现hadoop相关项目,需在`</project>`前的`<build>`节点下面增加如下内容: ```xml <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <version>2.6</version> <configuration> <archive> <manifest> <!--main()所在的类,注意修改--> <mainClass>join.joinMain</mainClass> </manifest> </archive> </configuration> </plugin> </plugins> ``` [^3] - **依赖示例**:对于maven创建spark项目的pom.xml配置文件,可参考http://mvnrepository.com里的示例,如下: ```xml <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.10 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.10</artifactId> <version>2.2.0</version> <scope>provided</scope> </dependency> ``` [^4] ### hdfs.xml文件配置 参考内容未提及在IntelliJ IDEA中配置Maven项目里hdfs.xml文件的方法,一般情况下,hdfs.xmlHadoop分布式文件系统(HDFS)的配置文件,在IntelliJ IDEA中若要使用它,可将其放置在项目的资源目录(通常是`src/main/resources`)下,确保项目能正确加载该配置文件。同时,根据具体的HDFS集群配置,修改hdfs.xml中的相关属性,如`fs.defaultFS`指定HDFS的命名节点地址等。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

之芫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值