CDH(Cloudera)与hadoop(Apache)对比

本文对比了Cloudera的CDH与Apache的Hadoop版本,详细介绍了CDH的版本划分、安装方式、认证机制等方面的优势,以及在兼容性、安全性、稳定性上的增强。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

需要认识的几个问题

1.hadoop有几个版本?
2.CDH有几种安装方式?
3.CDH在安装认证方面做了什么改变?

Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:

(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache hadoop在兼容性,安全性,稳定性上有增强。
:hadoop有两个分支:0.20.x 和0.23.x。其中0.20.x是比较稳定的版本,0.23.x中新特性更多,但相对不稳定。
其中从0.20.x 分支发展出来的是:hadoop1.0,CDH3
从0.23.x 分支发展出来的是:hadoop-alpha,CDH4

(2)CDH3版本是基于Apache hadoop 0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。

(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证

(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。

(5)CDH支持Yum/Apt包,Tar包,RPM包,CM安装,Cloudera Manager三种方式安装,Apache hadoop只支持Tar包安装。

:CDH使用推荐的Yum/Apt包安装时,有以下几个好处:
1、联网安装、升级,非常方便
2、自动下载依赖软件包

3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。

4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限。

Apache HadoopCloudera Hadoop虽然都基于Hadoop开源项目,但它们之间存在一些关键的区别: 1. **开源基金会**:Apache Hadoop是由Apache软件基金会完全管理并维护的开源项目,它是Hadoop的官方发行版,提供最纯粹的开源体验。而Cloudera是一家商业公司,他们提供了经过优化的企业级Hadoop发行版,称为Cloudera Distribution for Hadoop (CDH)。 2. **商业支持**:Cloudera除了提供Hadoop的核心组件外,还增加了许多附加服务,例如管理工具、安全性和高级分析工具。这为企业客户提供了一套完整的解决方案,包括技术支持和服务合同,而这在Apache Hadoop中是需要用户自行寻找的。 3. **稳定性成熟度**:由于Cloudera的专业团队参CDH被认为在稳定性、性能优化和企业级功能方面更胜一筹。然而,随着Hadoop社区的成长和成熟,Apache Hadoop也在持续改进,变得越来越适合大规模生产环境。 4. **成本**:作为一家商业公司,Cloudera的产品定价会比单纯使用Apache Hadoop高,特别是对于包含服务和技术支持的套餐。 5. **许可证**:Apache Hadoop遵循Apache License 2.0,允许免费使用和修改,而CDH则采用Apache-2.0加商业许可模式,有些部分可能受限于Cloudera自己的许可证。 简而言之,Apache Hadoop更适合寻求开源自由度和自定制能力的开发者,而Cloudera Hadoop更倾向于那些需要专业支持和完整解决方案的企业用户。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值