hbase ganglia监控配置

 

2015年06月09日 12:35:38 笃志近思 阅读数：3132

hbase ganglia 监控

hbase 配置

1. hadoop-metrics2-hbase.properties

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31  
*.sink.ganglia.period=10  

hbase.sink.ganglia.period=10  
hbase.sink.ganglia.servers=239.2.11.71:8649


hbase.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
hbase.period=10
hbase.servers==239.2.11.71:8649

jvm.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
jvm.period=10
jvm.servers==239.2.11.71:8649

rpc.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
rpc.period=10
rpc.servers==239.2.11.71:8649

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19

修改完配置后重启集群，就可以在ganglia中查看到相应监控信息了 
注意 : 
上面配置项中的IP地址为gmond.conf文件中mcast_join指定的IP地址：

/* Feel free to specify as many udp_send_channels as you like.  Gmond
   used to only support having a single channel */
udp_send_channel {
  #bind_hostname = yes # Highly recommended, soon to be default.
                       # This option tells gmond to use a source address
                       # that resolves to the machine's hostname.  Without
                       # this, the metrics may appear to come from any
                       # interface and the DNS names associated with
                       # those IPs will be used to create the RRDs.
  mcast_join = 239.2.11.71
  port = 8649
  ttl = 1
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

效果图 ###

hbase监控项

hbase.regionserver.blockCacheCount ：内存中缓存块(block cache)数。缓存中StoreFiles(HFiles)的块（block）数量。

hbase.regionserver.blockCacheEvictedCount ：因超出堆大小限制，从缓存中释放的块数量。

hbase.regionserver.blockCacheFree： 可用的缓存块容量。

hbase.regionserver.blockCacheHitCachingRatio：缓存块的缓存命中率（0-100）。读取的缓存命中率被配置为查看缓存（如cacheblocks=true）。

hbase.regionserver.blockCacheHitCount ：StoreFiles(HFiles) 从缓存中读取的块数量。

hbase.regionserver.blockCacheHitRatio：缓存块的命中率(0-100).包括所有读请求，尽管cacheBlocks=false 的读出会被计为cache丢失。

hbase.regionserver.blockCacheMissCount：被StoreFiles (HFiles)请求但是未从缓存中读出的块数量。

hbase.regionserver.blockCacheSize：内存中块缓存的容量，特指被blockcache占用的内存容量。

hbase.regionserver.compactionQueueSize ：Compaction 队列大小，用于compaction的RegionServer中的Store个数。

hbase.regionserver.flushQueueSize ：MemStore中等待flush操作的排队region数量。

hbase.regionserver.fsReadLatency_avg_time ：文件系统延迟（ms）。从HDFS读操作的平均时间。

hbase.regionserver.memstoreSizeMB ：当前RegionServer中所有Memstore的总容量(MB)。

hbase.regionserver.requests ：总的读和写请求次数。请求相当于RegionServer的RPC调用，因此一个Get相当于一次请求，但是哪怕Scan的caching值设置为1000，对SCAN每个“下一次”调用仅相当于一次请求，（例如，非每行）。对于大数据块的请求，每个 HFile对应一次请求。

hbase.regionserver.storefileIndexSizeMB：RegionServer中 StoreFile文件索引大小的总和(MB)。

详细监控项可查看http://hbase.apache.org/book.html#rs_metrics