centos6.4下CDH5.7.1集群的安装

1、安装前的准备：

• 集群规划：
  172.29.41.236 cdhmaster centos6.4
  172.29.41.237 cdhslave1 centos6.4
  172.29.41.238 cdhslave2 centos6.4

• vim /etc/hosts 添加名字与ip的映射

• vim /etc/sysconfig/network 更改hostname

• 关闭所有机器的防火墙
  service iptables stop //临时关闭
  chkconfig iptables off //永久关闭

• 关闭所有机器的SELinux
  setenforce 0 //临时关闭
  vim /etc/selinux/config 设置SELINUX=disabled //永久关闭

• 在cdhmaster上安装配置MySQL

  安装MySQL    
  yum install mysql-server    
  设置开机启动    
  chkconfig mysqld on    
  启动MySQL service    
  service mysqld start    
  设置root用户密码    
  mysqladmin -u root password 'xxxx'    

• 下载软件包：
  Cloudera Manager5.7.1：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.7.1_x86_64.tar.gz

  CHD5.7.1 parcel: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel

  CHD5.7.1 sha: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1

  Kafka1.2.0.1 parcel: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel

  Kafka1.2.0.1 sha: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1

  jdk-8u91-linux-x64.rpm

  mysql-connector-java-5.1.38-bin.jar

  

2、配置三台机器之间的ssh免密登录

• 每台机器上都运行ssh-keygen -t rsa命令生成公钥

• cdhslave1与cdhslave2上运行ssh-copy-id root@cdhmaster

• 在cdhmaster上运行ssh-copy-id root@cdhslave1 与 ssh-copy-id root@cdhslave2

3、安装jdk

• 卸载原有的jdk:
  rpm -qa |grep java
  rpm -e –nodeps 包名

• rpm -ivh jdk-8u91-linux-x64.rpm

4、cloudera-manager安装

• 把cloudera-manager-el6-cm5.7.1_x86_64.tar上传到cdhmaster并拷贝到cdhslave[1-2]上

• 在每台机子上进行文件解压 tar xzvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz -C /opt/

• 在每台机子上都执行 vim /opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini 更改server_host设置成cdhmaster的主机名

• 为所有机器新建cloudera-scm用户，注意把–home设置为对应的路径：
  sudo useradd –system –home=/opt/cm-5.7.1/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm

• 在每台机器上把mysql驱动的jar文件上传到/opt/cm-5.7.1/share/cmf/lib

• 初始化数据cloudera库
  /opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p数据库密码 –scm-host localhost scm scm scm

• 在cdhmaster上启动Cloudera Manager Server

• 在三台机器上都启动Cloudera Manager Agent

• 浏览器中输入cdhmaster:7180 进行web登录，用户名密码都是admin

• 进行文件拷贝：
  把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1重命名为CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha把CDH和KAFKA的parcel和sha文件上传到cdhmaster 的 /opt/cloudera/parcel-repo/目录

• 选择cloudera manager的版本 ,这里选择免费版

• 为集群指定主机

• 选择cdh版本。这里选择我们下载好的parcel的版本 。如果没有出现我们的离线安装版本，可以重启Cloudera Manager Server

• 等待安装包安装和分配到集群中的所有主机

• 检查主机正确性

• 选择需要安装的服务，这里可以根据自己的需求进行安装

• 进行角色分配。可以按照默认的设置

  

• 进行数据库配置。首先在mysql中建立hive\ozzie的数据库 然后填入表格 ，随后测试数据库连通性

• 进行集群相关设置

• 首次启动

• 完成安装