magicchu的博客

NameNode元数据管理 NN的元数据是在内存中进行管理的，通过fsimage和edits log来进行磁盘化 NN启动时加载一次fsimage到内存中 对HDFS的操作会记录在Edits Log中，并且每个操作都有一个事务号，edits log文件就是以起始和末尾的事务号命名的。比如下图中的文件，记录的就是942391-942478的事务。 edits log和fsimage之间通过checkpoint来实现同步，把edits log中的最新数据同步到fsimage中，可以观察fsimage的事务编

Hadoop: 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口 Zookeeper: 2181 ： 客户端连接zookeeper的端口 2888 ： zookeeper集群内通讯使用，Leader监听此端口 3888 ： zookeep

HDFS hdfs block存储位置：dfs.datanode.data.dir fsimage存储位置：dfs.namenode.name.dir edits log存储位置：dfs.namenode.edits.dir DN每块磁盘不能被hdfs使用的空间：dfs.datanode.du.reserved 默认10GB，一般建议单盘空间25% bolck块大小：dfs.blocksize bolck副本数：dfs.replication Yarn 日志汇聚功能：yarn.log-aggregat

Service Monitor： Service Monitor存储了时间序列和健康数据。Impla查询的元数据，Yarn应用的元数据。默认情况下，数据时存储在/var/lib/cloudera-service-monitor/文件夹下。 Host Monitor： Host Monitor存储了时间序列和健康数据。默认情况下，数据存储在/var/lib/cloudera-host-monitor/文件夹下。 cloudera官网介绍 server/agent日志 /var/log/cloudera-scm

环境 CDH 6.1.0 centos7 五台VM虚拟机，内网 添加节点 在VM中克隆已有节点，将克隆后的节点通过Cloudera Manager 添加到集群中，安装过程中报错：安装失败。 无法接收 Agent 发出的检测信号。排查日志发现连接不上管理节点7182端口：Heartbeating to master:7182 failed。 但是telnet可以通。卸载agent后重装也不行。 原因是，这台虚拟机是克隆别的节点的，已经有agent的UUID了，和别的节点冲突， 首次启动Agent，它会生成一个

CDH6集群迁移（IP地址更改）操作文档1、更改IP地址：2、更改host:3、server节点上修改MySQL数据库，4、更改agent配置5、更改yum仓库地址6、检查ntp配置7、检查ssh是否能连通8、启动server、agent： 1、更改IP地址： vi /etc/sysconfig/network-scripts/ifcng-ens33 2、更改host: vi /etc/hosts 3、server节点上修改MySQL数据库， mysql -u root -p use scm; select

引言 以MapReduce为例，提交一个MapReduce application的大致流程如下，其中Resource Manager简写为RM，Node Manager简写为NM，Application Master简写为AM。 Top↑ 提交application大致流程 （1）首先client里执行一个MapReduce程序，这个程序运行在client端的JVM里，在main方法中最...