HBase之Slow log

最新推荐文章于 2024-02-28 15:43:09 发布

原创最新推荐文章于 2024-02-28 15:43:09 发布 · 513 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #大数据

HBase 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了HBase的Slowlog功能，包括如何配置响应时间和数据大小的阈值，以及如何通过内存环形缓冲区和系统表进行日志存储和管理。涵盖了内存存储配置、表存储机制以及获取和分析慢查询日志的方法。

Slow log

hbase会记录慢查询日志，关键字包括responseTooSlow、responseTooLarge、operationTooSlow、and operationTooLarge。

记录条件

响应时间和响应的数据大小可由以下参数配置

hbase.ipc.warn.response.time ：查询运行超过该值的时间(毫秒)，将被日志记录。默认10s，设置为-1则禁用日志记录
hbase.ipc.warn.response.size ：查询返回的数据超过该值(字节)，将被日志记录。默认100M，设置为-1则禁用日志记录

日志示例

在这里插入图片描述
response相关字段默认会被截断，导致某些关键信息缺失

配置内存存储

用于配置一个环形缓冲区来存储

hbase.regionserver.slowlog.buffer.enabled=true
hbase.regionserver.slowlog.ringbuffer.size=配置缓冲区的大小

开启环形缓冲区后，可以从shell获取慢日志

// 获取所有rs的慢日志记录
hbase> get_slowlog_responses '*' 
// 获取某一rs的记录
hbase> get_slowlog_responses host187.example.com,60020,1289493121758
// 获取给定client ip的慢记录
hbase> get_slowlog_responses '*', {'CLIENT_IP' => '192.162.1.40:60225', 'LIMIT' => 100}
获取超限日志 使用get_largelog_responses命令

配置表存储

缓冲区会被覆盖，同时需要系统表来持久化存储。
每个regionserver会启动一个cron作业，从队列中检索日志并插入系统表。

hbase.regionserver.slowlog.systable.enabled=true 
日志会存储到系统表hbase:slowlog
hbase.slowlog.systable.chore.duration=10min 
间隔时间
hbase.regionserver.slowlog.systable.queue.size=1000
regionserver存储的条数，默认1000

系统表列族info，包含以下列