weixin_41367158的博客

shutdown -h +2 #2分钟后关机。

统一下载地址：http://***/07-%E5%BC%80%E5%8F%91%E5%B7%A5%E5%85%B7/CDH/cdh6.3.2%E5%AE%89%E8%A3%85%E5%8C%85/mysql安装完成之后，在/var/log/mysqld.log文件中给root生成了一个默认密码。修改配置文件/etc/cloudera-scm-agent/config.ini，修改文件中server_host的属性值。所有节点都要执行，修改/etc/hostname文件，修改后需重启节点。

CDH中Spark默认版本2.4.0，我们对Hive升级到3.1.3版本，由于并未找到对应的 spark-hive 包，于是尝试使用Spark-3.3.1。spark3.3.1 for CDH6.3.2 包下载链接。

该步骤需要集群整体替换。

这里把之前编译打包好的flink的tar包上复制到flink-parcel项目的根目录。FLINK_URL=https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz #flink版本号。编译完成的结果就是flink/flink-dist/target/flink-1.17.1-bin目录下的flink-1.17.1文件夹，接下来把flink-1.17.1打包成tar包。

表示该nodemanager节点上YARN可使用的物理内存总量 （给150G）注：hive客户端和HiveServer2均需配置。cpu 88核 内存250G。

修改 /etc/passwd 文件，将 “/sbin /nologin”，改成“/bin/bash” 即可。cm管理hadoop集群hdfs切换用户。

将下载的 zookeeper-3.5.5.7.2.16.0-287.jar 拷贝到CDH中，并替换zookeeper-3.4.5-cdh6.3.2.jar。将下载的 zookeeper-3.5.5 的lib目录下的jar包拷贝过来，重复的jar包可以覆盖掉。

编译后的文件在tez-dist/target下面我的在：/data/module/apache-tez-0.9.1-src/tez-dist/target。

修改/opt/cloudera/parcels/CDH/lib/hive/conf/目录下的hive环境变量文件hive-env.sh，注释export HIVE_OPTS配置（集群所有机器都要修改）