轻松学Hadoop系列之 - 理清CDH Hadoop集群安装流程

最新推荐文章于 2025-03-13 20:55:08 发布

CQ阿甘

最新推荐文章于 2025-03-13 20:55:08 发布

阅读量1.7k

点赞数

分类专栏：大数据 Hadoop CDH 安装轻松学文章标签： hadoop CDH 安装轻松学

本文链接：https://blog.youkuaiyun.com/hezh914/article/details/51190577

版权

Hadoop 同时被 3 个专栏收录

7 篇文章

订阅专栏

大数据

6 篇文章

订阅专栏

CDH

5 篇文章

订阅专栏

这篇博客详细解析了CDH的四种安装方式，重点介绍了推荐的Parcel离线安装方法，强调其集成性、版本匹配和易于管理的优势。CDH安装流程分为准备工作、Cloudera Manager安装和Hadoop组件安装三个独立阶段。 Parcel文件可从Cloudera网站下载、放入CM本地目录或设置HTTPD本地源。理解这些步骤将使CDH安装变得清晰易懂。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. CDH的安装方式介绍
　　CDH的官方安装文档提供了几种安装方式，每种安装方式的后面虽然提供了详细步骤，但引用跳转较多，对初学者来说，很快就晕了，最主要困难是什么？英文！英文！英文！，这对很多英文不好的同学就更加难上加难了。所以作为第二篇博客，我们就先来理清一下CDH的安装流程。首先我们来看一下，CDH支持的几种安装方式 :
　　1. 完全的在线安装，这种安装方式需要网络的支持
　　2. 使用Tarball的安装方式
　　3. 使用RPM, YUM的安装方式，这种安装方式实际也是需要网络支持的。
　　4. 使用Parcel的离线安装方式
　　实际上官方是建议使用Parcel的安装方式的，而第1,3种方式是只建议用于练手或测试环境的。Parcel是一个二进制的安装包，它不仅包含了程序安装文件，而且还包含了Cloudera Manager需要使用的元数据。Parcel的安装具有如下的特点和好处：
　　 1. 将所有的Hadoop组件集成在了一个安装包
　　 2. 所有的Parcel内部Hadoop组件版本都是匹配的,消除了版本不匹配的隐患
　　 3. 可以安装在/usr目录之外,且不需要sudo命令
　　 4. 具有多版本并行安装的能力,这就可以保证在集群升级前提前发布一个新版本，减少集群升级时间
　　 5. 小版本的滚动升级和自动升级管理和操作，以及快速回滚
　　
2. 理清CDH的安装流程
　　接下来看一下CDH集群的第4种安装方式的安装步骤，以下安装步骤是我整理的安装文档中的目录,这些目录中的每一步操作在网上都能一抓一大把了,所以这里不再贴出详细内容,如有需要的再请联系我.

    1.  安装介绍
    2.  下载所需安装文件
    3.  确认主机安装环境
    4.  规划集群部署
    5.  修改主机名
    6.  更改主机HOSTS映射文件
    7.  检查主机服务
    8.  检查主机NTP服务配置
    9.  检查主机参数配置
    10. 确认Python环境
    11. 安装依赖包
    12. 安装集群所需配置数据库并创建用户和数据库
    13. 创建所需系统用户
    14. 创建目录
    15. 安装Clouder Manger
    16. 安装JDK
    17. 初始化CM 的配置数据库(只在CM Server上执行)
    18. 配置Clouder Managerp Agent
    19. 移动Parcel文件到指标目录(只在CM Server上执行)
    20. 启动CM Server/ Agent
    21. 登陆CM Server完成集群安装
    22. CDH集群安装检查

　　这儿的安装步骤很多, 可能很多人看到头都大了, 客观别急, 看了后面的介绍,你将对CDH的安装有非常清晰的认识，拨开云雾看清天，透过现相看本质，实际上CDH的安装我们可以分解为三部分：

准备工作
Clouder Manager的安装
Hadoop组件的安装

　　而这三部分中, 每一个阶段的安装, 其实都是独立的, 比如:
　　1. 首先可以使用Yum, Rpm, Tarball包的任意一种方式安装Clouder manager.
　　2. Clouder manager安装成功后, 在CM在安装界面上也可以使用Tarball, Parcel的任意方式来安装Hadoop组件.
　　那么CDH的整个安装流程, 可以使用以下的表格来清晰的表达:

安装流程	操作步骤或方式
集群规划	1.硬件配置、存储检查 2.服务器系统环境检查 3.集群部署规划
环境准备工作	1.主机名确认和修改 2.更改主机HOSTS映射文件 3.检查主机服务 4.检查主机NTP服务配置 5.检查主机参数配置 6.确认Python环境 7.安装依赖包 8.创建用户和目录
依赖软件安装	1.确认Python环境 2.安装JDK 3.安装配置数据库并初始化(支持Oracle, Postgresql, Mysql)
Clouder Manager安装	1.可以使用Yum在线安装、Rpm软件包安装、Tarball直接解压 2.配置Agent config.ini
Hadoop组件安装	1.可以使用Tarball软件包安装、Parcel包安装或直接在线下载包安装

3.Parcel文件的放置位置
　　在CM平台安装Hadoop的时候， Parcel(Tarball文件一样的)的文件可以放在以下的位置：
　　１.如果服务器网络畅通，网速很快，那可以直接让CM自动在Cloudera网站上下载文件，然后安装
　　２.将Parcel文件放在CM的默认本地目录：/opt/cloudera/parcel-repo，此处特别注意：CM程序默认每1小时，扫描一次该目录，如果你是在CM Server启动之后放进去的，那么不等１小时，是在安装界面看不到该安装包的，最直接的方式是直接重启CM Server.
　　3.创建一个Httpd服务，制做为本地源，让CM通过此源自动下载安装(跟第１种在线下载一样的，其它软件也可以通过制做这种本地源下载安装)，步骤为：
　　　　a.安装httpd服务: yum install httpd(或手动使用rpm包安装)
　　　　b.启动httpd服务: service httpd start
　　　　c.将parcel和maifest.json文件放到web server目录并授权，如：

　　　　　　　# mkdir /var/www/html/cdh5.5
　　　　　　　# mv CDH-5.5.0-1.cdh5.5.0.p0.8-el6.parcel /var/www/html/cdh5.5
　　　　　　　# mv manifest.json /var/www/html/cdh5.5
　　　　　　　# chmod -R ugo+rX /var/www/html/cdh5.5

　　　　接下来就可以访问http://hostname:80/cdh5.5/进行验证并在CM安装时设置使用该源进行安装了
　　　　　　　　