Maven配置cloudera源下载CDH依赖包

本文介绍如何在Maven项目中配置Cloudera Manager自动安装的Hadoop、Hbase、Zookeeper等组件的CDH版本依赖包,确保与Apache版本的一致性。通过添加cloudera仓库和指定版本的依赖,如hbase-client、hbase-common、zookeeper及hadoop-common,实现与Cloudera Enterprise 5.x的兼容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

由于Cloudera Manager自动安装部署的HadoopHbaseZookeeper等组件与Apache提供的会有差异,所以需要配置为对应CDH版本的依赖包。

添加cloudera仓库

pom.xmlproject标签内开头添加如下仓库:

  <repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </repositories>

添加特定版本的CDH依赖

	<dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>1.1.0-cdh5.8.5</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-common</artifactId>
      <version>1.1.0-cdh5.8.5</version>
	</dependency>
	<dependency>
		<groupId>org.apache.zookeeper</groupId>
		<artifactId>zookeeper</artifactId>
		<version>3.4.5-cdh5.8.5</version>
	</dependency>
	<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.8.5</version>
	</dependency>

参考链接

Cloudera Enterprise 5.x Release Notes
Maven Artifacts for CDH 5.8.x Releases

### 配置Maven中的Hadoop依赖及相关设置 为了在Maven项目中成功配置Hadoop依赖并解决可能遇到的相关问题,可以按照以下方法操作: #### 1. 添加Hadoop依赖到`pom.xml` 在项目的`pom.xml`文件中,添加Hadoop的依赖项。如果使用的是一般版本的Hadoop,则可以直接指定其版本号和组ID。 ```xml <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.0</version> <!-- 替换为你所需的版本 --> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>3.3.0</version> <!-- 替换为你所需的版本 --> </dependency> </dependencies> ``` 对于特定发行版(如Cloudera),需要额外配置对应的Maven仓库地址[^2]。 --- #### 2. 配置Cloudera CDH Maven仓库 由于线上环境使用的是Cloudera Hadoop版本,因此需在`pom.xml`中添加ClouderaMaven远程仓库支持。 ```xml <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>cdh5.16.2</version> <!-- 使用具体的CDH版本 --> </dependency> </dependencies> ``` 上述配置会自动拉取Cloudera分发的Hadoop组件及其兼容库。 --- #### 3. 解决常见错误:缺少`jdk.tools:jdk.tools:jar:1.6` 当构建过程中出现类似于“Missing artifact jdk&period;tools&colon;jdk&period;tools&colon;jar&colon;1&period;6”的错误时,可以通过手动安装缺失的JAR包来解决问题[^1]。 执行如下命令将本地JDK工具打包至Maven仓库: ```bash mvn install:install-file \ -Dfile=$JAVA_HOME/lib/tools.jar \ -DgroupId=jdk.tools \ -DartifactId=jdk.tools \ -Dversion=1.6 \ -Dpackaging=jar ``` 完成此步骤后重新运行`mvn clean package`即可正常编译项目。 --- #### 4. 下载源码与文档 为方便调试或查阅API说明,在IDE中可下载对应依赖的源码与文档。具体方式是在IDEA或其他开发环境中右键点击`pom.xml`文件,选择菜单选项 **Maven → Download Sources and Documentation** 来实现这一目标[^3]。 --- #### 总结 以上过程涵盖了从基础依赖声明、特殊发行版的支持到潜在问题处理等多个方面,能够帮助开发者顺利完成基于Maven的Hadoop项目初始化工作。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值