系统环境
- 实验环境:Windows下VMware虚拟机
- 操作系统:CentOS 6.5 x64 (至少内存2G以上,内存不够的建议还是整几台真机配置比较好,将CDH的所有组件全部安装会占用很多内存,我设置的虚拟机内存是主节点4G,子节点2G(选择性安装组件))
- Cloudera Manager:5.12.1
- CDH: 5.12.1
CDH和Cloudera Manager
- CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
- Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
安装说明
Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
下载信息:
https://www.cloudera.com/downloads/manager/5-12-1.html
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/,由于我们的操作系统为CentOS6.5,需要下载以下文件:
- CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
- CDH-5.12.1-1.cdh5.12.1.p0.3-el6.pacel.sha1
- manifest.json
注意:与CDH4的不同,原来安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR),CDH5中将他们包含在一起了,所以只需要下载一个CDH5的包就可以了。
系统环境搭建
以下操作均用root用户操作
1. 网络配置(所有节点)
vi /etc/sysconfig/network
修改hostname:
-
NETWORKING=yes
-
HOSTNAME=n1
通过service network restart
重启网络服务生效。
vi /etc/hosts
,修改ip与主机名的对应关系
-
192.168.1.200 n1
-
192.168.1.201 n2
-
192.168.1.202 n3
注意:这里需要将每台机器的ip及主机名对应关系都写进去,本机的也要写进去,否则启动Agent的时候会提示hostname解析错误。