呼呼的小窝

CDH简介　　　• Cloudera’s Distribution, including Apache Hadoop 　　• 是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建 　　• 提供了Hadoop的核心 　　　　– 可扩展存储 　　　　– 分布式计算 　　• 基于Web的用户界面CDH的优点　　　　• 版本划分清晰...

背景由于项目需要，需要将CDH中HDFS服务的进程的log输出格式改造成json格式，以便于后续使用Spark的处理，因此对其进行改造修改NameNode进程的日志输出格式在CDH中进行配置：log4j.appender.RFA.layout.ConversionPattern = {"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtyp...

背景：公司自建IDC机房，基于IDC机房构建大数据集群；需要对集群资源进行监控，集群采用的是CDH集群，采集主要分两块进行：HDFS和YARN相关的指标进行采集IDC机器自身的指标进行采集注意： 也许有人会有疑惑，CM界面已经提供了监控的图表，为什么还需要自己进行展示。原因在于，这些信息需要集成到内部的数据平台上面去，做成对应的数据报表，可视化的方式展示在自己的数据平台上[待更新… ...