CDH 是什么

CDH 是由 Cloudera 公司构建,的Hadoop 稳定发行版。

一、痛点

一个产品的出现肯定是为了解决用户的痛点,在大数据领域,我们这些使用Hadoop、Hive、Hbase等的开发者来说就是其用户。如果使用原生的ApacheHadoop,在工作中我总结出了如下痛点(部分):

1、集群规模很庞大时搭建Hadoop集群复杂度越来越高,工作量很大

2、规模很大的集群下升级Hadoop版本很费时费力

3、需要自己保证版本兼容,比如升级Hadoop版本后需要自己保证与Hive、Hbase等的兼容

4、安全性很低

二、Hadoop发行版本引入

有了上述原生Hadoop不足,Apache官方和一些第三方就发布了一些Hadoop发行版本来解决此类问题。一些有名的发行版本列举如下:

• Apache Hadoop

• Cloudera’s Distribution Including Apache Hadoop(CDH)

• Hortonworks Data Platform (HDP)

• MapR

• EMR

• …

接下来我们开始介绍CDH

三、CDH介绍

CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,全称Cloudera’s Distribution, including Apache Hadoop。

CDH提供了Hadoop的核心可扩展存储(HDFS)和分布式计算(MR),还提供了WEB页面进行管理、监控。

四、CDH架构

五、CDH优点

        • 版本划分清晰

    CDH3 基于Hadoop1.x,目前已经不再更新

    CDH4和CDH5基于Hadoop2.x

• 版本更新速度快

• 支持Kerberos安全认证

• 文档清晰

• 支持多种安装方式(Cloudera Manager方式)

    • Cloudera Manager

    • Yum

    • Rpm

    • Tarball

六、CDH获取
• CDH5.4

    • http://archive.cloudera.com/cdh5/

• Cloudera Manager5.4.3:

    • http://www.cloudera.com/downloads/manager/5-4-3.html

作者:张–小涛涛
来源:优快云
原文:https://blog.youkuaiyun.com/jintaohahahaha/article/details/86282390
版权声明:本文为博主原创文章,转载请附上博文链接!

### 关于Cloudera CDH的定义、功能及版本 #### 定义 Cloudera CDH(Cloudera's Distribution Including Apache Hadoop)是一种免费开源的企业级大数据平台解决方案,它基于Apache Hadoop构建,并对其进行了优化和扩展。CDH不仅包含了核心的Hadoop组件,还集成了丰富的生态系统工具,旨在为企业提供更稳定、安全和易于管理的大数据处理能力[^1]。 #### 功能 1. **增强的兼容性和稳定性** CDH通过集成最新的补丁和技术改进,在兼容性、安全性以及性能方面显著优于原生Apache Hadoop版本[^2]。 2. **强大的安全管理机制** 支持Kerberos安全认证协议,相较于Apache Hadoop使用的简单用户名匹配认证更加健壮可靠[^2]。 3. **多样化的部署选项** 提供多种安装方式,包括Yum/Apt包、RPM包、Tar包以及Cloudera Manager图形化界面安装。特别是推荐的Yum/Apt包安装方法具备联网自动化特性,能够简化配置流程并确保生态系统的组件一致性[^2]。 4. **详尽的技术文档支持** 配备完善的官方文档资源,覆盖从基础入门到高级调优等多个层面的内容,帮助开发者快速掌握系统操作技巧[^2]。 5. **全面的数据管理和分析能力** 整合了一系列用于存储、计算、查询等功能的核心模块和服务,例如HDFS分布式文件系统、MapReduce批处理框架、HBase列族数据库、Hive SQL引擎等[^3]。 6. **灵活高效的集群运维手段** 利用Cloudera Manager这一集中式的监控与控制台工具,可以轻松实现节点状态跟踪、服务启停调度、参数调整等多项任务[^4]。 #### 版本概述 - 在CDH4以前,其版本命名遵循`CDHxUy`模式,比如`CDH3u0`, `CDH3u1`代表第三代产品下的不同更新迭代; - 自CDH4起改用了更为直观的标准语义化版本号表示形式——即由主版本号(X)、次版本号(Y)加上修订级别(Z)共同组成,形如`CDH X.Y.Z`。这种新体系便于区分重大改动(`X`)、功能性扩充(`Y`)或是紧急修正(`Z`)之间的差异[^3]。 ```python # 示例:如何查看当前运行环境中的CDH版本信息? import subprocess def get_cdhr_version(): try: result = subprocess.run(['hadoop', 'version'], stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True) output_lines = result.stdout.splitlines() for line in output_lines: if "Cloudera" in line and "CDH" in line: return line.strip() # 返回包含具体版本描述的一行文字 except Exception as e: print(f"Error occurred while fetching version info: {e}") if __name__ == "__main__": cdh_ver_info = get_cdhr_version() if cdh_ver_info is not None: print(cdh_ver_info) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值