Hadoop的Maven工程pom.xml需要的jar包</dependency>

最新推荐文章于 2024-03-24 15:55:28 发布
最新推荐文章于 2024-03-24 15:55:28 发布
阅读量2.8k 收藏 2
点赞数
本文介绍了如何使用Maven来管理Hadoop 2.x系列的依赖项，包括hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core及hadoop-client等核心组件的配置方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Maven仓库：https://mvnrepository.com/artifact/org.apache.hadoop 

 

 

摘自https://blog.youkuaiyun.com/qq_33813365/article/details/70214484

 

需要的Jar包 （对应版本：2.x.x）

 

  1. <!-- Hadoop start -->
  2. <dependency>
  3. <groupId>org.apache.hadoop</groupId>
  4. <artifactId>hadoop-common</artifactId>
  5. <version>${hadoopVersion}</version>
  6. </dependency>
  7.  
  8. <dependency>
  9. <groupId>org.apache.hadoop</groupId>
  10. <artifactId>hadoop-hdfs</artifactId>
  11. <version>${hadoopVersion}</version>
  12. </dependency>
  13.  
  14. <dependency>
  15. <groupId>org.apache.hadoop</groupId>
  16. <artifactId>hadoop-mapreduce-client-core</artifactId>
  17. <version>${hadoopVersion}</version>
  18. </dependency>
  19.  
  20. <dependency>
  21. <groupId>org.apache.hadoop</groupId>
  22. <artifactId>hadoop-client</artifactId>
  23. <version>${hadoopVersion}</version>
  24. </dependency>
  25. <!-- Hadoop -->
  26.  
  27. <dependency>
  28. <groupId>jdk.tools</groupId>
  29. <artifactId>jdk.tools</artifactId>
  30. <version>1.6</version>
  31. <scope>system</scope>
  32. <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
  33. </dependency>

 

 

 

Domer_chen
关注
java项目Hadoop依赖包
12-04
java项目Hadoop依赖包，包含MapReduce、hdfs。
maven仓库中关于Hadoop的一些依赖
11-05
Hadoop执行mapreduce和使用jdbc连接虚拟机所使用的全部maven包（修改maven仓库路径即可使用）
maven配置hadoop的依赖
m0_62224692的博客
03-24 880
【代码】maven配置hadoop的依赖。
Hadoop的windows的依赖包
weixin_44803780的博客
12-29 2581
包含2.6到3.2的依赖包，百度云下载 链接：https://pan.baidu.com/s/1GiK0DNWfAmSNN_rJr2FWjA 提取码：1234
关于hadoop各种项目中用到的maven依赖
IT晓白
11-28 4956
-----------------scala-spark &lt;dependencies&gt;         &lt;!--spark依赖--&gt;         &lt;dependency&gt;             &lt;groupId&gt;org.apache.spark&lt;/groupId&gt;             &lt;artifactId&gt;spa...
Hadoop项目组件常用maven依赖
scuthyx的博客
06-21 623
maven组件依赖
Maven依赖配置（pom.xml） Xml <dependencies> <!-- Hadoop核心依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.6</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>3.3.6</version> </dependency> <!-- 避免XML解析错误 --> <dependency> <groupId>org.codehaus.woodstox</groupId> <artifactId>woodstox-core-asl</artifactId> <version>4.4.1</version> </dependency> </dependencies>具体怎么做
03-28
用户可能是一个刚开始使用Hadoop和Maven的开发者，在Eclipse中配置项目时遇到了问题，或者对pom.xml的配置不太熟悉，需要详细的步骤说明。 接下来，我需要回顾之前提供的pom.xml内容，里面包含了Hadoop的核心依赖和...
当前pom文件： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.example</groupId> <artifactId>udBatchProject</artifactId> <version>1.1-SNAPSHOT</version> <properties> <hadoop.scope>provided</hadoop.scope> <hadoop.version>2.7.3</hadoop.version> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <java.version>1.8</java.version> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion> <buildtype>release</buildtype> <encoding>UTF-8</encoding> <project.build.sourceEncoding>${encoding}</project.build.sourceEncoding> </properties> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-jobclient</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> <exclusions> <exclusion> <groupId>com.sina</groupId> <artifactId>DRFA</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-auth</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-yarn-client</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-yarn-api</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> <exclusions> <exclusion> <artifactId>jdk.tools</artifactId> <groupId>jdk.tools</groupId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-yarn-common</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>${hadoop.version}</version> <scope>${hadoop.scope}</scope> </dependency> <!-- <dependency>--> <!-- <groupId>com.sina.Armyknife</groupId>--> <!-- <artifactId>sina</artifactId>--> <!-- <version>0.5</version>--> <!-- <exclusions>--> <!-- <exclusion>--> <!-- <groupId>com.sina</groupId>--> <!-- <artifactId>DRFA</artifactId>--> <!-- </exclusion>--> <!-- </exclusions>--> <!-- </dependency>--> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>0.13.0</version> </dependency> <dependency> <groupId>com.googlecode.aviator</groupId> <artifactId>aviator</artifactId> <version>3.0.0</version> <scope>provided</scope> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.76</version> </dependency> <dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.8.9</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.13.1</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.29</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> <version>5.3.15</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-beans</artifactId> <version>5.3.15</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jdbc</artifactId> <version>5.3.15</version> </dependency> </dependencies> <repositories> <repository> <id>thirdparty</id> <name>3rd party</name> <url>http://10.39.0.110:8081/nexus/content/repositories/thirdparty</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </repository> <repository> <id>central</id> <name>Central</name> <url>http://10.39.0.110:8081/nexus/content/repositories/central</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> <pluginRepositories> <pluginRepository> <releases> <updatePolicy>never</updatePolicy> </releases> <snapshots> <enabled>false</enabled> </snapshots> <id>public</id> <name>Public Repositories</name> <url>http://10.39.0.110:8081/nexus/content/groups/public/</url> </pluginRepository> </pluginRepositories> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>3.1.0</version> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> </project> 在引入依赖 import com.sina.hadoop.MultipleInputs;的时候报错
最新发布
07-11
<think>根据提供的pom.xml文件，我们可以看到项目中并没有直接引入包含`com.sina.hadoop.MultipleInputs`类的依赖。在pom.xml中，所有与Hadoop相关的依赖都使用了`provided`作用域，并且版本为2.7.3。而`...
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.example</groupId> <artifactId>wordcount</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> </properties> <dependencies> <!-- Hadoop Client 依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.3.5</version> </dependency> </dependencies> <repositories> <repository> <id>aliyun</id> <url>https://maven.aliyun.com/repository/public/</url> </repository> </repositories> <pluginRepositories> <pluginRepository> <id>aliyun</id> <url>https://maven.aliyun.com/repository/public/</url> </pluginRepository> </pluginRepositories> </project>
05-28
为了生成包含所有依赖的可执行 JAR 包，需要在 `pom.xml` 中添加以下插件配置： ```xml <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</...
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>com.atguigu</groupId> <artifactId>gmall2024-realtime</artifactId> <version>1.0-SNAPSHOT</version> </parent> <artifactId>realtime-common</artifactId> <properties> <!-- 统一版本管理 --> <flink.version>1.17.2</flink.version> <flink-cdc.version>2.4.0</flink-cdc.version> <debezium.version>1.9.7.Final</debezium.version> <hbase.version>2.4.11</hbase.version> <doris.version>1.5.2</doris.version> <fastjson.version>1.2.83</fastjson.version> </properties> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifac
04-24
<think>好的，我现在需要帮助用户解决在Maven项目中正确配置HBase依赖的问题，特别是导入org.apache.hadoop.hbase.TableName类，且用户使用的是HBase 2.4.11版本。根据用户提供的引用内容，之前的回答可能涉及版本不...
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.example</groupId> <artifactId>untitled1</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.5.9</versi
04-30
<value>hadoop01,hadoop02,hadoop03</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> ``` - 明确指定根目录位置： ```xml <property>...
hadoop 使用 maven3.3 仓库 3
05-23
hadoop 使用 maven3.3 仓库3
hadoop 依赖的jar包 包括asm-3.2什么的 一共21 个
07-17
hadoop 依赖的jar包 包括asm-2.2.3 aspectjrt-1.8.10 aspectjtools-1.7.4 commons-beanutils-1.9.3 commons-beanutils-core-1.8.3 commons-cli-1.2 commons-codec-1.10 commons-collections-3.2.1 commons-configuration-1.10 commons-daemon-1.0.15 commons-digester-2.1 commons-el-1.0 commons-httpclient-3.1 commons-io-2.4 commons-lang-2.6 commons-logging-1.2 commons-logging-api-1.1 commons-math3-3.6.1 commons-net-3.3 core-3.1.1 hadoop-core-1.2.1
基于Hadoop的分布式系统依赖的所有JAR包
11-09
集合Maven,hdfs,mapreduce等相关所有jar包及依赖包
Hadoop Maven repository本地库
12-17
Hadoop Maven repository本地库 下载后直接解压就能用。。。。。
hadoop2.7.6相关依赖包缺失
尘雨::执着VC
07-10 875
在Hadoop相关开发中，因很多时候大数据集群的版本比较低，例如CDH6.3.1所集成的是hadoop2.7.6版本，所以需要客户端开发时，也要做版本适配，需引入hadoop-common-2.7.6.jar，hadoop-hdfs.2.7.6.jar等jar包依赖。添加htrace-core-3.1.0-incubating.jar到项目中。添加commons-cli-1.5.jar到项目中。添加guava-30.1.1-jre.jar。添加guava-30.1.1-jre.jar。
Hadoop+Maven项目打包异常
三劫散仙
08-11 237
[size=large]先简单说下业务：有一个单独的模块，可以在远程下载Hadoop上的索引，然后合并压缩，最后推送到solr服务器上 原来使用的是Ant打包，外部的jar是在执行主体的jar时cp进环境变量的，所以没有出现今天要说的这个问题，伪代码如下： 先把所有外部的jar的路径，拼接好一个字符串path，然后将path传入下面执行的代码 java -cp path co...
hadoop的各种jar包
10-26
使用ecplice操作hadoop所需要的各种jar包。包括hdfs,maprudce,yarn,httpfs,kms。
Maven工程下java:org.apache.hadoop.conf 等Hadoop包不存在的问题
goTsHgo的博客
10-13 4696
问题分析：肯定是因为Maven工程中缺少了以来的Jar包，但是点击了Maven中的test 仍然没有解决问题，因此，需要手工命令的方式来让maven 来下载需要的jar包。 解决方案操作步骤见下图： 按照图片操作之后即可解决。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值