CDH秘籍(两):cloudera Manager存储监控数据

本文深入分析了Cloudera Manager中监控数据的存储方式、配置及调优策略,包括ServiceMonitor和HostMonitor的角色、数据存储路径、配置选项、数据迁移流程以及监控数据的存储策略和优化方法。

概述

上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式,如何配置外部表等。这一篇文章进一步分析监控数据的存储,配置,调优等。

Service Monitor  Host Monitor 角色在cloudera manager中存储了时间序列、健康数据、Impla查询和Yarn应用的元数据。经过查看对应的Cloudera Manager的存储连接,发现Service MonitorHost Monitor的存储使用的是levelDB的解析类,由此能够判断出本地存储使用的是levelDBLevelDB能够说是key-value的数据库的鼻祖。读写效率特别高,并发也非常大。而Cloudera Manager的监控的读写数据特别多、频繁。这也可能是Cloudera Manager5选择使用levelDB替换关系数据库的原因。

 

监控数据在Cloudera Manager升级中的迁移

Cloudera Manager 5 存储Host Monitor  Service Monitor数据到本地数据库。假设使用自己主动化升级配置从Cloudera Manager 4 升级到 5。数据会从Cloudera manager 4 中的内嵌数据库或者外部数据库中自己主动迁移到Cloudera Manger5中的本地数据库中。

这是一个自己主动化运行的过程中,中间能够查看迁移过程的日志等。

 

Service Monitor 数据存储的配置

Service Monitor存储了时间序列和健康数据。Impla查询的元数据,Yarn应用的元数据。默认情况下,数据时存储在/var/lib/cloudera-service-monitor/文件夹下,你也能够改动Service Monitor Storage Directory 配置firehose.storage.base.directory

You can control how much disk space to reserve for the different classes of data the Service Monitor stores by changing the following configuration options:

Time-series metrics and health data - Time-Series Storage (firehose_time_series_storage_bytes - 10 GB default)

Impala query metadata - Impala Storage (firehose_impala_storage_bytes - 1 GB default)

YARN application metadata - YARN Storage (firehose_yarn_storage_bytes - 1 GB default)

 

Host Monitor 数据存储的配置

Host Monitor存储了时间序列和健康数据。默认情况下,数据存储在/var/lib/cloudera-host-monitor/文件夹下。你也能够改动Host Monitor Storage Directory 配置。

You can control how much disk space to reserve for Host Monitor data by changing the following configuration option:

Time-series metrics and health data: Time Series Storage (firehose_time_series_storage_bytes - 10 GB default)

 

数据粒度和时间序列指标数据

Service Monitor  Host Monitor使用非常多方式存储时间序列指标数据。数据会不断的被汇总成不同的粒度。比方每个小时,会把数据的平均值,最小值。最大值汇总成一个小时为粒度的数据,每6个小时。会汇总成6个小时的数据。每天、每个星期等。这样的方式仅仅会汇总指标数据。Impla的查询和Yarn应用的监控数据当接近限制时,会删除旧的数据。

当存储快达到限制时。会先删除粒度最细的数据。保证存储空间的释放。比方会先删除小时为粒度的数据,其次是以天微粒度的数据。

Moving Monitoring Data on an Active Cluster

Host Monitor and Service Monitor Memory Configuration


原创文章,欢迎转载。转载请标明出处  http://blog.youkuaiyun.com/shifenglov/article/details/41281399

版权声明:本文博客原创文章,博客,未经同意,不得转载。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值