0350-如何通过CM将CDSW从1.3升级至1.4_qgg号生成cd号-优快云博客

本文链接：https://blog.youkuaiyun.com/Hadoop_SC/article/details/104743316

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.文档编写目的

随着CDSW新版本的发布也提供了更多的新功能，具体参考Fayson前面文章《CDSW1.4的新功能》，本篇文章Fayson主要介绍如何通过Cloudera Manager升级CDSW至1.4版本。

内容概述

1.升级准备

2.配置CDSW1.4的Parcel库及激活

3.功能验证及总结

测试环境说明

1.CM和CDH版本为5.15

2.CDSW版本为1.3

3.集群未启用Kerberos

4.RedHat7.4

2.升级准备

1.准备CDSW最新的Parcel安装包

http://archive.cloudera.com/cdsw/1/parcels/1.4.0/CDSW-1.4.0.p1.431664-el7.parcel
http://archive.cloudera.com/cdsw/1/parcels/1.4.0/CDSW-1.4.0.p1.431664-el7.parcel.sha
http://archive.cloudera.com/cdsw/1/parcels/1.4.0/manifest.json

（可左右滑动）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nJfjyJar-1583680459464)(https://ask.qcloudimg.com/http-save/yehe-1522219/jpugu01sdv.jpeg)]

2.将下载好的Parcel包部署在本地的apache服务器的/var/www/html/cdsw1.4目录下

[root@cdh05 ~]# cd /var/www/html/cdsw1.4/
[root@cdh05 cdsw1.4]# ll

（可左右滑动）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CUpF2cdc-1583680459466)(https://ask.qcloudimg.com/http-save/yehe-1522219/0n7f1tmjqh.png)]

3.验证本地Parcel部署是否成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a8rZeKcG-1583680459467)(https://ask.qcloudimg.com/http-save/yehe-1522219/sw3fy1cnsb.jpeg)]

3.CM配置CDSW1.4的Parcel库

1.使用管理员登录Cloudera Manager，进入Pacel主界面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1Ygogiyu-1583680459468)(https://ask.qcloudimg.com/http-save/yehe-1522219/vdwzntfbmz.jpeg)]

2.点击“配置”，将cdsw1.4版本的本地Parcel库地址配置到列表中

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TzZIUiQ3-1583680459468)(https://ask.qcloudimg.com/http-save/yehe-1522219/lfi1yr02am.jpeg)]

3.保存更改后回到Parcel界面查看加载在的CDSW1.4版本

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9BlBsE1L-1583680459469)(https://ask.qcloudimg.com/http-save/yehe-1522219/veq1pxpdon.jpeg)]

4.点击“下载”，将cdsw1.4版本下载并分发

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b6XZ1VSL-1583680459469)(https://ask.qcloudimg.com/http-save/yehe-1522219/0ysinp2p4h.png)]

完成下载

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TjSL169C-1583680459470)(https://ask.qcloudimg.com/http-save/yehe-1522219/m8mzjpjsfy.png)]

5.点击“分配”，完成CDSW安装包分发

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v2wKERwx-1583680459470)(https://ask.qcloudimg.com/http-save/yehe-1522219/g4toom5wk3.jpeg)]

如上步骤完成了CDSW1.4 Parcel的分配

4.CDSW1.4激活

在前面的步骤已完成了CDSW1.4版本安装包的分发，在激活之前先收集下CDSW平台的基本信息及做简单备份。

1.使用管理员登录CDSW平台用户信息查看及备份

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jyFxQVGI-1583680459470)(https://ask.qcloudimg.com/http-save/yehe-1522219/xkkzdpeqq4.jpeg)]

通过“Export Users List”功能将平台的用户导出备份。

2.查看当前用户创建的工程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0YF6El6v-1583680459471)(https://ask.qcloudimg.com/http-save/yehe-1522219/q8k8cmpe69.jpeg)]

fayson用户下也有创建相应的工程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qGGqc7Yv-1583680459471)(https://ask.qcloudimg.com/http-save/yehe-1522219/5yo0hg8pua.jpeg)]

以上步骤做了CDSW平台上用户及工程的简单记录，确保在CDSW平台升级后，工程依然存在。

3.登录Cloudera Manager对CDSW1.4版本进行激活

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6zPH5gRM-1583680459471)(https://ask.qcloudimg.com/http-save/yehe-1522219/kdb61gj6jz.jpeg)]

4.点击“确定”，进行激活并重启CDSW服务，等待命令执行成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kRNCXvPm-1583680459472)(https://ask.qcloudimg.com/http-save/yehe-1522219/hp1aki3djr.jpeg)]

如下截图显示已激活成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Cgu4oysr-1583680459472)(https://ask.qcloudimg.com/http-save/yehe-1522219/ohwy1lxi8b.jpeg)]

5.进入CDSW服务界面显示角色启动异常

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RUP8iqMz-1583680459472)(https://ask.qcloudimg.com/http-save/yehe-1522219/h4ymlhjb18.jpeg)]

6.查看启动日志发现有如下异常

“ERROR:: Dependency packages [socat.x86_64] are not installed. Please run prepare node step.: 1”

（可左右滑动）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1HprbRea-1583680459473)(https://ask.qcloudimg.com/http-save/yehe-1522219/hi0wv54bac.jpeg)]

7.停止CDSW服务，进行如下操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8KA2W0Qk-1583680459473)(https://ask.qcloudimg.com/http-save/yehe-1522219/ls84uj811e.jpeg)]

服务停止成功后，在操作下选择“Prepare Node”执行

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FNHUQkKy-1583680459473)(https://ask.qcloudimg.com/http-save/yehe-1522219/c92qo28wah.jpeg)]

命令执行成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I2RVO0Yq-1583680459473)(https://ask.qcloudimg.com/http-save/yehe-1522219/opsa82oxuw.jpeg)]

8.通过CM启动CDSW服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LPlf3sLf-1583680459474)(https://ask.qcloudimg.com/http-save/yehe-1522219/earmm7ze8c.jpeg)]

执行完启动命令后，需要等待一段时间，等待CDSW服务中各个模块正常提供服务。

9.CDSW服务启动成功界面显示如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VFZLZI5g-1583680459474)(https://ask.qcloudimg.com/http-save/yehe-1522219/0lnecr3ziz.jpeg)]

同样也可以在CDSW服务器上使用cdsw status命令查看

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g6G9drT0-1583680459474)(https://ask.qcloudimg.com/http-save/yehe-1522219/a330ndnrlk.jpeg)]

5.CDSW验证

验证CDSW服务的可用性以及升级后平台的账号、配置、工程信息未丢失

1.使用管理员账号登录CDSW服务，进入主页面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IKj2FW8D-1583680459475)(https://ask.qcloudimg.com/http-save/yehe-1522219/dpyh4rxcgv.jpeg)]

可用看到升级后多了Experiments和Models功能，在后面的文章Fayson会介绍这两个功能的详细使用。

2.查看CDSW用户与升级前用户一致

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTTGiCWU-1583680459475)(https://ask.qcloudimg.com/http-save/yehe-1522219/ckb6k6pgwy.jpeg)]

3.Project工程存在

admin用户下的test工程存在，与升级前一致

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8GzFAJ6g-1583680459475)(https://ask.qcloudimg.com/http-save/yehe-1522219/wte8bn5i31.jpeg)]

fayson用户下的fayson-project工程与升级前一致

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-snBOahS9-1583680459476)(https://ask.qcloudimg.com/http-save/yehe-1522219/nrfacsx1br.jpeg)]

4.打开fayson-project工程的Workbench

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jHW3Eomx-1583680459476)(https://ask.qcloudimg.com/http-save/yehe-1522219/qvzmtkhtp3.jpeg)]

图中显示有新的engine可以使用，点击“Update Version”可以更新到最新的engine使用，相应的还多了一个“Run Experiments”功能。

6.总结

1.本篇文章Fayson将CDSW1.3版本升级至1.4，需要准备CDSW1.4的Parcel包，通过CM将Parcel包分发激活，使CDSW使用最新版本启动并提供服务。

2.在升级的过程中遇到CDSW服务启动失败，是由于新版本的CDSW需要安装OS的依赖包，可以通过“Prepare Node”功能来准备CDSW的服务所需要依赖环境（如：配置、依赖包等）。

3.升级前后不会导致CDSW平台的工程、用户以及配置等信息丢失。

4.CDSW1.4版本后对服务器的要求更高一些，Fayson的服务器是4核16G的服务器，升级后不能打开Session，提示“Unschedulable: No nodes are available that match all of the predicates: Insufficient cpu (1)”

5.对于生产环境的CDSW升级，在升级前有必要通知所有使用用户将自己的工程做相应的备份。