0593-CDH5与CDH6对比

最新推荐文章于 2025-01-16 09:59:16 发布

原创

最新推荐文章于 2025-01-16 09:59:16 发布 · 3.9k 阅读

19 ·

CC 4.0 BY-SA版权

本文详细比较了CDH5和CDH6在组件版本、操作系统支持、元数据库、JDK、单用户模式及Cloudera Manager的差异。CDH6引入了新特性，如HDFS纠删码和YARN GPU支持，但不再支持单用户模式，且Cloudera免费版节点数限制为100。建议新集群可选CDH6，已有CDH5集群需谨慎评估升级。

1 文档编写目的

Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别，通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6，兼容性稳定性是否存在问题等。出于这个目的，本文会从各个方面详细比较CDH5和CDH6的差别，从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调，没有最好的技术，也没有最新的技术就是最好的，永远只有最合适的技术。

2 组件版本对比

组件	CDH5.16.1	CDH6.1.1
Cloudera Manager	5.16.1	6.1.1
CDSW	1.5	1.5
Cloudera Navigator	2.15.1	6.1.1
Flume-ng	1.6.0	1.8.0
Hadoop	2.6.0	3.0.0
HBase	1.2.0	2.1.0
Hive	1.1.0	2.1.1
Hue	3.9.0	3.9.0
Impala	2.12.0	3.1.0
Oozie	4.1.0	5.0.0
Pig	0.12.0	0.17.0
Sentry	1.5.1	2.1.0
Solr	4.10.3	7.4.0
Spark	1.6.0/2.3.0	2.4.0
Sqoop	1.4.6	1.4.7
Sqoop2	1.99.5	无
Zookeeper	3.4.5	3.4.5
Kafka