CDH5.2.0升级到CDH5.3.3

公司有一个Spark on Yarn集群，基于CM5.2.0+CDH5.2.0搭建，Spark的版本是1.1.0.为了使用Spark1.2.0的一些特性，决定将集群版本升级到CM5.3.3+CDH5.3.3。之所以升级CM，是因为CM的版本号必须大于等于CDH的版本号。下面分成两个步骤介绍升级过程：CM升级和CDH升级。

1 CM升级过程介绍

    1.1 admin用户登陆http://10.10.244.137:7180/cmf/home，关闭集群服务和Cloudera management 服务

    1.2 通过click 服务----》click 命令----》正在运行的命令，最近的命令，确认1.1操作成功

    1.3 关闭每个主机上的agent.关闭CM Server所在主机上的server,如果用到了CM自带的数据库，关闭数据库

          sudoservice cloudera-scm-agent stop；sudoservice cloudera-scm-server stop； sudo service cloudera-scm-server-db stop（如果没有启动则显示“service cannot be found”,如果显示“the shutdown failed”,说明数据库正在使用）；

 1.4 升级Cloudera Manager Server Packages

    配置YUM源---》执行sudo yum clean all；sudoyum upgrade 'cloudera-*'；验证rpm -qa 'cloudera-manager-*'

   1.5 启动Cloudera Manager Server

          sudoservice cloudera-scm-server start；

 1.6 更新Cloudera manager Agent Packages

    sudoservice cloudera-scm-agent stop；Cloudera Manager installs Agent software----》No, I would like to skip the agent upgrade nowand click Continue----》配置yum源----》sudo yum clean all；sudoyum upgrade 'cloudera-*'；sudo service cloudera-scm-agent start；

 1.7 检验更新结果

     7180首页----》主机----》Host Inspector

    1.8 启动所有的服务

    1.9 部署客户端配置

          7180首页----》Deploy Client Configuration

2 CDH升级过程介绍

   2.1 升级CDH的Packages

        关闭所有服务----》配置Yum源----》sudo yum clean all;sudo yum update(更新所有的CDH包)

   2.2 更新符号链接，使之指向最新的安装的CDH的组件

        sudo cloudera-scm-agent restart

   2.3 备份namenode元数据和DB数据

         HDFS----》配置-----》NameNode 数据目录，备份之；

         DB备份例子：mysqldump -uroot -h10.10.244.137 -p rman>/home/cloudera/sql-copy/rman.sql

   2.4 执行更新向导

         登陆到7180首页----》点击clustername旁边的按钮---->Upgrade Cluster---->Choose Method 选择Use Packages----》Choose CDH Version 选择CDH的版本号----》。。。。。。