hadoop的选型

最新推荐文章于 2022-07-18 09:14:46 发布

weixin_36960524

最新推荐文章于 2022-07-18 09:14:46 发布

阅读量286

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_36960524/article/details/80212482

版权

本文介绍了Apache Hadoop、CDH和HDP三个版本的区别。Apache Hadoop在整合多个框架时可能出现jar包冲突，不适合生产环境。CDH提供统一配置，文档丰富，与Spark合作紧密，适用于生产，但不完全开源。HDP则基于原版Apache Hadoop，安装管理相对复杂。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop其实常用的有3个版本：

Apache Hadoop

CDH:Cloudera Distributed Hadoop

HDP:Hortoworks Data Platform

他们的区别在于，Apache Hadoop它里面的框架只是解决了单个框架的问题，如果你要将hadoop、hive、hbase综合起来使用的话，会有很多jar包冲突的问题，不建议生产使用.

CDH的版本，可以通过页面进行配置，文档非常给力，与spark有合作，非常适合用于生产.

下载地址：http://archive.cloudera.com/cdh5/cdh/5/

比如hadoop-2.6.0-cdh5.7.0.tar.gz，通过cdh5.7.0可以找到hadoop生态其他的框架，比如hive,hbase。只要都是cdh5.7.0，就不会有jar包冲突，对比 Apache的版本，就省了不少事，目前市面上70%左右的公司选用此版本，缺点是不开源，遇到了问题，不方便快速定位.

HDP使用的是原版的hadoop，也就是apache的，安装删除比较费劲.