magicchu的博客

exit code:35 导致NM不可用

NM重启失败

HBASE Master is initializing

NameNode元数据管理NN的元数据是在内存中进行管理的，通过fsimage和edits log来进行磁盘化NN启动时加载一次fsimage到内存中对HDFS的操作会记录在Edits Log中，并且每个操作都有一个事务号，edits log文件就是以起始和末尾的事务号命名的。比如下图中的文件，记录的就是942391-942478的事务。edits log和fsimage之间通过checkpoint来实现同步，把edits log中的最新数据同步到fsimage中，可以观察fsimage的事务编

Hadoop:50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口19888：jobhistory WEB UI端口Zookeeper:2181 ： 客户端连接zookeeper的端口2888 ： zookeeper集群内通讯使用，Leader监听此端口3888 ： zookeep

HDFShdfs block存储位置：dfs.datanode.data.dirfsimage存储位置：dfs.namenode.name.diredits log存储位置：dfs.namenode.edits.dirDN每块磁盘不能被hdfs使用的空间：dfs.datanode.du.reserved默认10GB，一般建议单盘空间25%bolck块大小：dfs.blocksizebolck副本数：dfs.replicationYarn日志汇聚功能：yarn.log-aggregat

Service Monitor：Service Monitor存储了时间序列和健康数据。Impla查询的元数据，Yarn应用的元数据。默认情况下，数据时存储在/var/lib/cloudera-service-monitor/文件夹下。Host Monitor：Host Monitor存储了时间序列和健康数据。默认情况下，数据存储在/var/lib/cloudera-host-monitor/文件夹下。cloudera官网介绍server/agent日志/var/log/cloudera-scm

环境CDH 6.1.0centos7五台VM虚拟机，内网添加节点在VM中克隆已有节点，将克隆后的节点通过Cloudera Manager 添加到集群中，安装过程中报错：安装失败。 无法接收 Agent 发出的检测信号。排查日志发现连接不上管理节点7182端口：Heartbeating to master:7182 failed。 但是telnet可以通。卸载agent后重装也不行。原因是，这台虚拟机是克隆别的节点的，已经有agent的UUID了，和别的节点冲突，首次启动Agent，它会生成一个