CDH运维

Cloudera Management Service

2020.04.13 10:22
发出警告，修改java内存

配置结束后重启服务，偶尔会出现红色警报
Cloudera Manager Server GC cpu使用率为总处理时间的10％或更多。
过了一会儿，红色警报自动消失。

HDFS

2020.04.13 10:47
警告：NameNode和SecondaryNameNode有不同的heapsizes



修改SecondaryNameNode Java堆栈大小与 NameNode 相同 4G

2020.04.17 15:34
修改完所需目录位置之后，hdfs启动报错，找不到文件或者是文件权限不够
执行

注：本机设置，非HDFS
chmod 755 /data
chown root:root /data

YARN

2020.04.13 20:33
执行spark-shell报错
修改yarn相关配置

Spark

2020.04.13 15：33
安装spark完成后启动报错

报错修改：给spark服务提供他需要的一切文件夹目录

Spark相关端口

CM Server

2020.04.15
测试数据导出任务时，发现cdh平台页面无法登录，cloudera manager server异常关闭，并无相关日志输出，手动关闭其他服务，再次重启之后，也没有日志输出到原日志目录文件，查看Server状态时，显示报错空指针异常。

尝试操作：
执行修改 vi /etc/security/limits.d/cloudera-scm.conf

修改cloudera-scm-server.log以及cloudera-scm-server其相关属主和属组

chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server/*

2020.04.15 16:22
调整各个节点警告/报警：

10G --> 6G

2020.04.15 20:46
修改所有组件的日志目录为/data/var/log
修改堆转储目录为/data/oom_heap_dump_dir

2020.04.16 19：46
报警 percle目录存储空间不足

2020.04.17 10：39
将所有组件的相关目录转移到/data下