在云服务器上从0安装CDH5.4.0 步骤

第一步（五台完成）：
查看防火墙状态：
chkconfig iptables --list
关闭防火墙  service iptables stop
启动级别关闭防火墙 chkconfig iptables off 
第二步（五台完成）：修改hosts文件（也是必须的）vi /etc/hosts
10.253.24.150   master1.com     master1
10.136.39.210   master2.com     master2
10.254.11.139   slave1.com      slave1
10.254.10.139   slave2.com      slave2
10.254.8.149    slave3.com      slave3

(公网ip)master1:120.92.56.241
master2:120.92.56.47
slave1:120.92.56.239
slave2:120.92.56.48
slave3:120.92.56.240

service network restart

第三步(五台完成)：修改主机名  vi /etc/sysconfig/network
hostname：slave1.com
networking：yes

第四步：
关闭selinux（SELINUX=xxx修改为disable）vi /etc/selinux/config

# This file controls the state of SELinux on thesystem.
# SELINUX= can take one of these three values:
#     enforcing-cd  SELinux security policy is enforced.
#    permissive - SELinux prints warnings instead of enforcing.
#     disabled- No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted- Targeted processes are protected,
#     mls -Multi Level Security protection.
SELINUXTYPE=targeted

第五步：（五台机器）添加普通户用hadoop（useradd hadoop）修改密码：(passwd hadoop) hadoop


ssh(五台)：首先在每台机器上生成公钥私钥；
su hadoop;
cd;
mkdir .ssh(/home/hadoop/.ssh);
ssh-keygen -t rsa;
cat .ssh/id_rsa.pub >> .ssh/authorized_keys;
chmod 600 ~/.ssh/authorized_keys;

（五台）最后切换root用户，配置sshd，取消被注释的公钥字段(vi /etc/ssh/sshd_config)， 
    RSAAuthentication yes # 启用 RSA 认证 
    PubkeyAuthentication yes # 启用公钥私钥配对认证方式 
    AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同） 
    并保存设置，然后重启sshd，即可测试本机的SSH，如下图所示。 
 service sshd restart

第六步(不要安装用CM自带的)：上传安装jdk1.7到/usr/local/jdk1.7
解压：tar -zxvf jdk-7u79-linux-x64.tar.gz
配置jdk环境变量：  cd /etc/profile.d
  新建   vi java.sh  增加以下内容：
JAVA_HOME=/usr/local/jdk1.7.0_79
CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
 source /etc/profile.d/java.sh 使文件生效
         执行命令vi /etc/profile 增加两行内容，分别是
         export JAVA_HOME=/usr/local/jdk1.7.0_79
export PATH=.:$JAVA_HOME/bin:$PATH
 java -version检查版本

第七部：安装CM和hive需要的元数据存储数据库mysql

http://www.centoscn.com/mysql/2014/1211/4290.html

SSH:

安装ssh
rpm -qa |grep ssh  #检查是否装了SSH包  
##注意如果安装了，下面的的命令就不用再操作了


yum install openssh-server  # 安装ssh  
chkconfig --list sshd #检查SSHD是否设置为开机启动  
chkconfig --level 2345 sshd on  #如果没设置启动就设置下.  
service sshd restart  #重新启动 
配置ssh无密码登录 


1) 先在master上，生成公钥、私钥对 
以hadoop身份登录到系统
cd (进入个人主目录，默认为/home/hadoop)
ssh-keygen -t rsa -P ''(之前要删除.ssh文件夹)
即：以rsa算法，生成公钥、私钥对，-P ''表示空密码。该命令运行完后，会在个人主目录下生成.ssh目录，里面会有二个文件id_rsa（私钥） ,id_rsa.pub(公钥)
导入公钥
cat .ssh/id_rsa.pub >> .ssh/authorized_keys
             
ssh localhost (或ssh master1)，如果不幸还是提示要输入密码，说明还没起作用，还有一个关键的操作
chmod 600 .ssh/authorized_keys (修改文件权限，否则不起作用)chmod 600 authorized_keys 
                chmod 700 ~/.ssh
2) 在其它机器上生成公钥、密钥，并将公钥文件复制到master1
a) 以hadoop身份登录其它二台机器 slave1、slave2、slave3，执行 ssh-keygen -t rsa -P '' 生成公钥、密钥
b) 然后用scp命令，把公钥文件发放给master1
                master2上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_master2.pub


slave1上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_slave1.pub
slave2上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_slave2.pub
                slave3上：
scp .ssh/id_rsa.pub hadoop@master1:/home/hadoop/.ssh/id_rsa_slave3.pub
3）在master1上，导入这4个公钥
cat id_rsa_slave1.pub >> authorized_keys
cat id_rsa_slave2.pub >> authorized_keys
                cat id_rsa_slave3.pub >> authorized_keys
                cat id_rsa_master2.pub >> authorized_keys
4)在 master1 上 的authorized_keys 拷贝到 其他机器
scp authorized_keys hadoop@slave1:/home/hadoop/.ssh/authorized_keys
scp authorized_keys hadoop@slave2:/home/hadoop/.ssh/authorized_keys
                scp authorized_keys hadoop@slave3:/home/hadoop/.ssh/authorized_keys
                scp authorized_keys hadoop@master2:/home/hadoop/.ssh/authorized_keys
5）修改其他机器上的文件权限：
chmod 700 authorized_keys（chmod 700 .ssh/authorized_keys）
6）验证，如果能够正常登录，表示就能够使用
                ssh slave1测试

CM的安装:

1.CM的准备工作(安装在master1上）

yum -y install postgresql-server
yum -y install postgresql
yum -y install httpd 
yum -y install perl
yum -y install bind-utils
yum -y install libxslt
yum -y install cyrus-sasl-gssapi
yum -y install redhat-lsb 
yum -y install  cyrus-sasl-plain 
yum -y install portmap 
yum -y install fuse 
yum -y install fuse-libs 
yum -y install nc
yum -y install python-setuptools
yum -y install openssh-clients（ssh不能使用时）

在此目录下新建文件夹：
var/www/html/cm5.4.0
var/www/html/cdh

配置本地yum源
    进入 cd /etc/yum.repos.d目录创建cloudera-manager.repo文件。内容如下：
    [cloudera-manager]
    name = Cloudera Manager, Version 5.4.0
    baseurl = http://120.92.56.241/cm5.4.0
    gpgcheck = 0
    注意：repo文件中不能有特殊字符

开启http服务:
每次开机启动：chkconfig httpd on
启动 http服务：service httpd start
查看http服务状态：service httpd status

/usr/local/下 修改 cloudera-manager-installer5.4.0.bin的权限：

chmod 775  cloudera-manager-installer5.4.0.bin 或者

chmod u+x  cloudera-manager-installer5.4.0.bin

运行命令:./cloudera-manager-installer5.4.0.bin 进行安装


如果中间有安装失败的情况进入 cd /etc/yum.repos.d
删除新生成的rpmnew文件，在进行安装。如果安装成功，访问http://120.92.56.241:7180测试 用户名：admin 密码：admin

浏览器测试yum源 : http://120.92.56.241/cdh


ROOT用户下（无法进行身份验证的错误）
visudo命令
添加：
hadoop  ALL=(root)       NOPASSWD: ALL
hadoop  ALL=(ALL)       NOPASSWD: ALL


service sshd restart
service cloudera-scm-agent status
service cloudera-scm-agent restart

检测主机时:

 1.Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。

您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响： 
解决办法: echo 0 > /proc/sys/vm/swappiness