基于CDH的C D A P安装

1 准备

1.1 首先安装CDH 5.15.1版本

参考CentOS7离线安装Cloudera Manager 5.15.1

1.2 下载CSD

https://downloads.cask.co/cdap-csd/CDAP-5.1.0.jar

2. 安装CSD服务

安装参考https://docs.cdap.io/cdap/5.1.0/en/admin-manual/installation/cloudera.html

2.1 CDH服务配置注意项

• 由于CDAP依赖于HDFS，YARN，HBase，ZooKeeper和（可选）Hive和Spark，因此必须将其安装在群集主机上，并为这些相关服务提供完整的客户端配置。
• CDAP Master（或CDAP主服务器）上必须安装有HDFS网关，YARN网关，HBase网关以及可选Hive或Spark网关。

2.2 Hadoop配置项

• ZooKeeper的 maxClientCnxns参数设置为0

• YARN 参数配置

mapreduce.application.classpath配置为

$HADOOP_MAPRED_HOME/* 

$HADOOP_MAPRED_HOME/lib/* 

$MR2_CLASSPATH

并把上面的这3个参数添加到yarn.application.classpath参数中

 

 

2.3 安装CSD

1）将下载的CDAP-5.1.0.jar放在Cloudera Manager节点的/opt/cloudera/csd（默认路径）下，修改属主和权限

chown cloudera-scm:cloudera-scm CDAP-5.1.0.jar
chmod 644 CDAP-5.1.0.jar

2）重启cloudera manager服务

systemctl restart cloudera-scm-server

3）重新登录cloudera manager，选择“集群->Cloudera Management Service”

4）重启服务

5）点击包图标，下载CDAP的服务包 

3. 安装CDAP

 1） 进入集群，选择“操作->添加服务”

2）添加向导中选择CDAP

3）选择Hive依赖项，否则CDAP Explore无法使用

4）分配CDAP节点角色

 注意：

CDAP master所在的节点需要同时作为HBase，HDFS，YARN和（可选）Hive和Spark的服务网关。

CDAP Gateway和UI需要在一个节点上，否则UI服务启动会报错误，连不上127.0.0.1:11015。

 

排错

客户端配置生成需要激活以下其他 Parcel：[cdap]

检查应用包是否激活，未激活则需要激活

"No server address listed in hbase:meta for region cdap_system:configuration", CDAP master服务启动后退出，检查发现报此错误，hbase shell运行正常。

java.lang.RuntimeException: Unable to connect to HBase. Please check that HBase is running and that the correct HBase configuration (hbase-site.xml) and libraries are included in the CDAP master classpath. HBase的gateway和CDAP的master需要在一个节点上。

最终确认上面两个错误是由于有一个节点的防火墙未关闭导致。