CDH集群搭建
CDH背景
CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
系统环境
Master * 1:
Slave 2:
Cloudera Manager:5.12.1
CDH: 5.12.1
安装说明
官方参考文档:
https://www.cloudera.com/documentation/enterprise/latest/topics/installation.html
官方共给出了3种安装方式:
方法一:必须要求所有机器都能连网,由于各种国外的网站被墙的厉害,尝试了几次各种超时错误,耽误时间不说,一旦失败,重装非常痛苦。
方法二:下载很多包,不方便容易迷路。
方法三:对系统侵入性最小,可实现全离线安装,而且重装非常方便。后期的集群统一包升级也非常好。(本篇采用该方法安装)
相关包的下载地址
Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/,由于我们的操作系统为CentOS7,需要下载以下文件:
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.pacel.sha1
manifest.json
准备工作(系统环境准备)
1.网络配置(所有节点)
vi /etc/sysconfig/network修改hostname:
2.打通SSH,设置ssh无密登陆(所有节点)
3.安装Java(所有节点)
4.关闭防火墙以及SELINUX
5.配置NTP时间同步服务
提示:这一步暂时可以跳过,但是在集群启动以后,会提示时间不同步。集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。
5.1 设置时区(每个节点&
CDH集群搭建
最新推荐文章于 2024-09-26 14:45:50 发布