HBase 客户端类型 (四)

hbase的web管理界面 hbase的web管理界面 主界面: Home: Table Details Procedures Local Logs Log Level Debug Dump Metrics Dump HBase Configuration 管理界面 表详情 生产 本地日志 日志级别 调试 存储统计 HBase配置 Region Servers: Base Stats Memory Requests Storefiles Compactions 基本统计:ip 内 阅读详情

继 HBase 客户端类型 (三)

5.HBase Web-based UI

HBase 提供了基于 web 的用户接口(UI), 利用此接口,可以观察集群的状态及其所存储的表。大多数功能时只读的,但也有几个选择性操作可以通过 web UI
触发。另一方面,可以通过 metrics 可以获取非常详细的信息。可以在各种 UI 组件间导航,快速获取当前状态,包括内存使用,region 的数量,缓存效率
协处理器资源等等。

 

5.1 Master UI Status 页面 (Master UI Status Page)
-----------------------------------------------------------------------------------------------------------------------------------------
HBase 也启动一个其重要属性的 web 信息服务。默认情况下,它部署在 master 主机的 16010 端口上,而对于 region 服务器则使用 16030 端口。如果
master 服务运行在名为 master.foo.com 的默认端口上,可以通过浏览器访问 http://master.foo.com:16010 进入 master 的主页。
 
    NOTE:
    -------------------------------------------------------------------------------------------------------------------------------------
    嵌入式的信息服务器所使用的端口可以通过 hbase-site.xml 配置文件设置,属性如下:
    
        hbase.master.info.port
        hbase.regionserver.info.port

提示,在各种状态页面上展示的状态信息都是由底层的服务器 metrics(度量器)产生的,由集群信息 API 调用提供。


■ 主页 (Main Page)
-----------------------------------------------------------------------------------------------------------------------------------------
打开 master 的 web UI 即进入其主页。该页面由多个部分组成,可以查看集群本身的状态,它所服务的表,有哪些 region server 等等。

主页上的信息划分为如下几组:


    ● 共用的头部 (Shared Header)
    -------------------------------------------------------------------------------------------------------------------------------------
    最顶部带有链接的头部是很多 HBase UI 页面共用的。它们包含到其它子页面的引用,如 Table Details, Local Logs, Log Level, Debug Dump 等
    
    
    ● 警告 (Warnings)
    -------------------------------------------------------------------------------------------------------------------------------------
    可选的 —— 当前设置上有问题的情况下会出现。也有可选的警告信息显示在页面最顶端。

    
    ● Region Servers
    -------------------------------------------------------------------------------------------------------------------------------------
    列出 master 进程知道的实际 region server 列表。表格中列出服务器地址,可以点击地址以查看更详细的信息。表格上面的选项卡包含其它关于每个
    服务器的有用信息,例如 memory, requests
    
    
    ● Dead Region Servers
    -------------------------------------------------------------------------------------------------------------------------------------    
    可选的 —— 这部分信息只在集群上有服务器死掉才显示。
    

    ● Backup Masters
    -------------------------------------------------------------------------------------------------------------------------------------
    这个部分列出所有配置的并启动的 Backup Masters 服务器。显然如果没有 master 备份服务器则为空。


    ● Tables
    -------------------------------------------------------------------------------------------------------------------------------------
    列出所有 HBase 上的用户表和系统表。另外它也列出所有已知的表的快照。

    
    ● Regions in Transition
    -------------------------------------------------------------------------------------------------------------------------------------
    可选的 —— 任何当前正改变其状态的 region 都会列于此处。如果当前没有变换状态的 region, 则忽略整个部分。

    
    ● Tasks
    -------------------------------------------------------------------------------------------------------------------------------------
    当前正在运行任务的列表。由 master 执行的每个内部操作,例如 region 或日志拆分,在其运行时,以及完成后一分钟内都列于此处。


    ● Software Attributes
    -------------------------------------------------------------------------------------------------------------------------------------
    可以在此处的表格上查看集群范围的详细信息。有当前运行的 HBase 和 Hadoop 版本信息,根目录所在位置,整体平均负载等等。
    

    
■ Warning Messages
-----------------------------------------------------------------------------------------------------------------------------------------
Master UI 页面执行三个检查,并在检测出违规时报告问题:JVM 版本,catalog janitor, 以及 balancer status。

某些特定的 Java JVM 版本会在运行 HBase 时会导致问题。如果测试发现列入黑名单的 JVM 版本,会在每个页面的顶部显示警告消息:

    “Your current JVM version <version> is known to be unstable with HBase. Please see the HBase wiki for details.”

另外两个执行的测试是关于后台操作的状态,称为杂务(chores)。第一个是目录守护者(catalog janitor),它是保持 HBase 集群干净所要求的功能。如果
禁用了 janitor 进程,会在 Master UI 页面上显示警告消息。提示用户尽快启用此功能。

均衡器状态(balancer status) 的检查类似,它检查是否有人禁用了此后台操作,并提示用户重新启用它,否则集群会由于 region server 的加入或离去变得
不平衡。


■ Region Servers
-----------------------------------------------------------------------------------------------------------------------------------------
Master UI 页的 Region Servers 部分被划分为几个子部分,由标签页表示。每一部分显示一组特定主题的信息。Base Stats 由一般性 region server
信息组成,如服务器名称,它也作为超链接指向专用的 region server 状态页面。该表格也描述了每一个活动的 region 服务器的启动时间(start time),
每秒请求的数量(requests per second), 存储的 region 的数量(umber of regions).

第二个选项卡 Memory 包含内存相关的信息,可以查看当前 Java 进程使用的堆,以及配置的堆内存最大值,memstore size 指出每一个服务器所有内存存储
(all in-memory stores) 占用的内存。它可以作为执行了多少的写操作的指示器(indicator), 受当前所打开的 region 数量影响。

第三个 Requests 选项卡,包含有关当前每秒请求数量的特定信息,以及总体读请求和写请求数量,跨 region server 进程累加。

Storefiles 标签,显示每一个服务器关于底层存储文件的信息。number of stores 说明由该服务器所服务的列族的数量 —— 因为每一个列族在内部表示为
一个 store 实例。实际的文件数量在表格下一列中显示。一旦内存存储(in-memory stores) 填充满了,它们就会刷写,即将其所属于的 store 写到磁盘上,
创建一个新的 store 文件。

由于每一个存储文件包含一个表的实际 cell, 它们要求最多数量的磁盘空间,uncompressed size 说明在压缩应用之前的文件大小,但包括任何列族的编码,
如前缀编码。storefile size 列则指出所包含实际磁盘上文件的大小,即应用了任何文件压缩后的文件大小。

每个文件也存储各种索引以查找其所包含的 cell, 并且这些索引也要求存储容量。后面两列显示出数据块和 Bloom 过滤器的索引(当前所有打开的存储文件,
在内存中持有的索引)。取决于对数据如何压缩,cell 和文件块的大小可能不同。可以将它作为一个指示器,在运行一段时间工作之后,来评估服务器进程
所需的内存。

最后的 Compactions 选项卡显示压缩信息,一个 region server 执行的后台管理任务。表格中显示当前已计划压缩的 cell 的数量(number of current
cells)。number of compacted cells 是已压缩的 cell 的数量。remaining cells 是计划压缩剩余的 cell 的数量。compaction progress 显示压缩进度。
100% 说明整体压缩进度完成。

    
    NOTE:
    -------------------------------------------------------------------------------------------------------------------------------------
    有的列标题有 KV, 这是 KeyValue 缩写,cell 的同义词。


■ Dead Region Servers
-----------------------------------------------------------------------------------------------------------------------------------------
这是个可选的部分,只有在某个服务器之前是活动的,而现在被认为是不可操作的,或者说死掉的,才会出现这个部分信息。
如果集群没有这种无效的服务器,这部分信息会不存在。

 

■ Backup Masters
-----------------------------------------------------------------------------------------------------------------------------------------
Master UI 页面列出所有的 backup masters, 这些 HBase Master 进程在其它服务器上启动。虽然在同一物理机器上启动多个 master 是可行的,但通常将
它们分配到不同的机器上,以避免整个服务不可用。

表格有三个列,第一个是运行 backup master 进程的主机名,另外两个列说明服务使用的端口号以及进程启动时间。注意,这个端口号实际上是 RPC 端口,
而非信息服务器的端口。服务器名作为超链接,可以单击某一链接打开 Backup Master UI 页面。


■ Tables
-----------------------------------------------------------------------------------------------------------------------------------------
Master UI 页面下一个主要的部分称为 tables and snapshots, 由用户和系统创建,为此,Tables 部分被划分为三个标签:User Tables, System Tables,
以及 Snapshots


    ● User Tables
    -------------------------------------------------------------------------------------------------------------------------------------
    这里将看到 HBase 集群所感知到的所有用户表的列表。有同过 API 创建的表,或者 HBase shell 创建的表。列表有多个列说明每一个用户表,所属的
    名称空间,region 数量信息,以及一个描述。
    
    如果想要获得更多有关某个用户表的信息,有两个选择。第一,在用户表数量旁边,有一个 Details 链接,单击它会打开另一个页面,列出相同的用户
    表列表,但是带有完整的表描述符,也包括所有的列族描述。第二,表名称链接到另外的页面,带有所选择表的详细信息。
    
    region count 持有更多关于 region  如何分布的信息,或者换句话说,一个给定的表被拆分出多少个 region. online regions 列出当前活动的
    region 数量。offline regions 应该总为 0, 否则,就有 region 对其服务的数据不可用。Failed regions 也总为 0,因其所列出的 region 是由于
    某种原因不可打开的。
    
    split region 数量是当前日志拆分进程正在进行中的数量。它们最终会被打开,并将计数从这一列移动到 online region 列。
    
    最后的 other regions 数量,列出在其它状态的 region 的数量。

    
    ● System Tables
    -------------------------------------------------------------------------------------------------------------------------------------
    这一部分列出所有目录,或者称为系统表,通常是 hbase:meta 和 hbase:namespace。可选的,也可能包括额外的表,例如 hbase:acl, hbase:labels,
    以及 hbase:quota, 当启用了某些特性时创建。可以单击表名称链接以查看更多信息。


    ● Snapshots
    -------------------------------------------------------------------------------------------------------------------------------------
    第三个选项卡列出所有快照。它列出快照的名称,创建快照使用的表,以及创建时间。表名链接到表的详细信息页面。快照名也链接到另外的页面,列出
    关于快照的详细信息,还提供了在 UI 上可以直接执行的一些相关操作。
    
    
■ Regions in Transition
-----------------------------------------------------------------------------------------------------------------------------------------
region 由 master 管理并由 region server 提供服务,例如,跨服务器均衡负载,它们会进入短暂的变换阶段。这涉及打开,关闭,拆分一个 region 等
操作。在操作执行之前,region 会加入到 regions in transition 列表,并且一旦操作完成,就会从其中移除。

当没有 region 操作在进行中时,这部分信息是被完全忽略的。否则会使用 region 编码后的名称列出,其当前的状态,以及从转换进程开始过去的时间。

通常,region 的转换只会短暂地显示,因为 region 状态的转换是一个短时的操作。如果发生问题,可能看到 region 在其转换时很长时间不动,或者总也
不动。这种情况下,可以考虑设置大些的阈值(通过 hbase.metrics.rit.stuck.warning.threshold 配置属性设置,默认为 1 分钟)。


■ Tasks
-----------------------------------------------------------------------------------------------------------------------------------------
HBase 管理相当多的自动操作和后台任务以保持集群健康和可操作性。很多任务运行过程中涉及非常复杂的步骤,经常会跨多个、分布式的服务器组。这些
任务包括,例如,任意的 region 操作,打开和关闭 region, 或者在一个 region 恢复期间拆分 WAL 文件。任务会保存它们的状态,这样即使当前服务器
执行一个或多个步骤失败了,它们也可以恢复。HBase UI 在 Task 部分显示了当前正在运行的任务和任务状态。


    NOTE:
    -------------------------------------------------------------------------------------------------------------------------------------
    有关任务的信息,在 HBase Master 和 Region Server 的 web UI 状态页面上是相同的。实际上,它们使用相同的 HTML 模板生成内容。所列出的任务
    取决于服务器类型。例如,一个 get 操作只会发送到 region server,而不会发送到 master server.
    

绿色背景的行表示一个完成的任务,其它状态的任务为白色背景,这包括当前正在运行的任务,或者已经被终止的任务。被终止的任务可能由某个不一致的
状态导致的操作失败。

在启动一个集群时会看到相当多的任务显示出来,然后又消失,这是正常的,先变成绿色表示完成,然后超出存在期限,消失。一个如果不在运行了,它仍
会列出保持 60 秒钟,然后从 UI 上移除。

表格本身启动在第二个选项卡 non-RPC tasks 上。这个选项卡从完整任务列表过滤出特定的任务,完整任务列表可以在第一个选项卡all monitored tasks
上访问。下面两个选项卡过滤出所有 RPC 相关的任务,即 All RPC tasks 和 Active RPC Calls. 最后一个为 Client Operations, 显示由客户端操作的
任务列表。

RPC 和 non-RPC 任务的区别是它们的起源。前者起源于一个远程调用,而后者通常在服务器进程之内触发。


■ Software Attributes
-----------------------------------------------------------------------------------------------------------------------------------------
Master UI 状态页面的这个部分列出集群范围的设置,例如安装的 HBase 和 Hadoop 版本号,根 ZooKeeper 路径和 HBase 存储目录,以及集群 ID. 表格
列出属性名称(attribute name), 当前的值,以及一个简短描述。由于这个页面是由当前的 master 服务器生成的,因此它列出的内容具有权威性。如果在
其它服务器上有错误的配置,可以按照这里看到的值改正错误。确保在所有服务器上复查这些属性和设置。

表格中也列出了所使用的 ZooKeeper quorum, 在描述中有一个链接可以查看当前存储在 ZooKeeper 中的 HBase 集群的信息。

 

5.2 Master UI 相关的页面 (Master UI Related Pages)
-----------------------------------------------------------------------------------------------------------------------------------------
下面的页面是 Master UI 相关的页面,主页直接链接到它们。


■ Backup Master UI
-----------------------------------------------------------------------------------------------------------------------------------------
如果在集群上有一个以上的 HBase Master 进程启动,则 Master UI 会列出它们。每一个服务器名称链接到对应的 backup master, 提供专用的状态页面,
每一个 backup master 的内容都差不多相同,因为它们除了等待接管 master 领导(lead)工作,其它什么也不做。只有当前活动的master 服务器变为不可用
才会发生这种情况。

在页面顶部连接到当前活动的 master 服务器,很方便导航回集群。


■ Table Information Page
-----------------------------------------------------------------------------------------------------------------------------------------
当在 Master UI 页面单击用户或系统表的名称时,可以访问所选表的详细信息。在 Table Information 页面有下面几组信息。


    ● Table Attributes
    -------------------------------------------------------------------------------------------------------------------------------------
    这里可以看到表本身的信息。首先列出 table status, 即它是 enabled 或者 disabled. 值为 true 说明表是 enabled, 如果为 false 意味着该表当前
    是 disabled    .
    
    第二,显示该表当前是否有压缩运行,其状态可能的值为 NONE, MINOR, MAJOR, MAJOR_AND_MINOR, 或者 Unknown。
    
    最后,如果启用了可选项 fragmentation information, 则会有一行列出该表当前的(片段化) fragmentation 级别。


    ● Table Regions
    -------------------------------------------------------------------------------------------------------------------------------------
    这个列表可能非常大,显示出该表的所有 region。name 列时 region 的名称,region server 列链接到持有该 region 的服务器。单击服务器名打开
    相应的 Region Server UI Status 页面。
    start key 和 end key 列显示 region 的起始键和结束键。locality 列,以百分数形式指示,存储文件对于服务器来说是本地的,还是需要通过网络
    访问。
    
    requests 列显示请求的总数量,包括所有的读和写操作,从该 region 部署到存储它的服务器上时开始计数。


    ● Regions by Region Server
    -------------------------------------------------------------------------------------------------------------------------------------
    该页面的最后一组信息列出哪个 region server 持有该表的多少个 region。这个数字通常均匀分布在所有可用的服务器上。如果不均衡,可以适应
    HBase Shell 命令或者管理 API 启动 balancer,或者手动使用 move 命令均衡表的 region。
    
默认情况下,Table Information 页面也提供了一些功能,可用于在某个 region 上触发管理操作。这些功能可以通过设置 hbase.master.ui.readonly
配置属性为 true 来隐藏起来。

    ● Compact
    -------------------------------------------------------------------------------------------------------------------------------------
    触发 compact 操作,在后台异步运行。指定一个可选的 region name 使 compact 运行在指定的 region 上。如果没有指定 region name, 则操作在该
    表的所有 region 上执行。
    
    ● Split
    -------------------------------------------------------------------------------------------------------------------------------------
    类似于 compact 动作,split 动作触发 split 命令,在 table 或 region 范围执行。并非所有的 region 都是可拆分的,例如没有包含行,或者非常
    少的 cell, 或者已经被拆分了,但 compact 操作进程还没有完成。
    
    
■ ZooKeeper page
-----------------------------------------------------------------------------------------------------------------------------------------
这个页面显示的信息与 HBase shell 中调用 zk_dump 命令相同。它显示出 HBase 在文件系统内的根目录。也可以看到当前分配的 master, 已知的 backup
master, 哪个 region server 存储着 hbase:meta 目录表,已注册到 master 的 region server, 复制信息(replication details), 以及 ZooKeeper 内部
信息。

 

■ Snapshot
-----------------------------------------------------------------------------------------------------------------------------------------
列于 Master UI status 页面的每个快照名称,都链接到一个特定的快照信息页面。信息页面列出该快照所属的表(链接回表信息页面), 创建时间,快照类型
格式版本,以及状态。

该页面也显示一些关于快照文件的信息,例如:

    36 HFiles (20 in archive), total size 250.9 M (45.3% 113.7 M
    shared with the source table)
    0 Logs, total size 0

这里在快照中有 36 个存储文件,其中 20 个已被更新的文件替换,意思是它们已经被存档以保持快照一致性。

也有可执行的动作(action), 可以 clone 这个快照为一个新的 table, 或者 restore 它来替换原始的 table.

 

5.3 Region Server UI Status 页面 (Region Server UI Status Page)
-----------------------------------------------------------------------------------------------------------------------------------------
Region 服务器有它们自己的基于 web UI, 通常通过 master UI 上单击服务器名称链接访问,也可以在浏览器上直接输入地址访问:

    http://<region-server-address>:16030


■ Main page
-----------------------------------------------------------------------------------------------------------------------------------------
Region 服务器的主页上有关于该服务器的详细信息,执行的任务,存储的 region 等等。

这个页面上的信息可以划分为几个不同的组:


    ● 服务度量器 (Server Metrics)
    -------------------------------------------------------------------------------------------------------------------------------------
    服务器当前状态的统计信息,内存使用,请求数量等等。
    

    ● Tasks
    -------------------------------------------------------------------------------------------------------------------------------------
    表格中列出当前运行的任务。与 master 任务列表的不同之处是 region 服务器会运行不同的任务。region server 关心的是数据和 region 的操作,而
    master server 是管理 region server 和 WAL 相关的任务。
    
    
    ● Block Cache
    -------------------------------------------------------------------------------------------------------------------------------------
    当数据从存储文件读取的时候,以数据块的形式载入。这些数据块通常缓存起来以备后续使用,提升了读取速度。块缓存有很多配置选项,并且根据
    region server 页面的不同部分,它的内容也不同。
    
    ● Regions
    -------------------------------------------------------------------------------------------------------------------------------------
    这里会看到当前 region server 所存储的所有 region. 表格上有多个选项卡包含基本的信息,请求,存储文件,compaction, 以及协处理器 metric
    
    
    ● Software Attributes
    -------------------------------------------------------------------------------------------------------------------------------------
    这组信息包含运行的 HBase 版本,它的编译时间, 使用的 ZooKeeper quorum,服务器启动时间,链接回活动 HBase Master 服务器。
    

■ Server Metrics
-----------------------------------------------------------------------------------------------------------------------------------------
一个 region server 状态页面的第一部分就是关于服务器本身的统计信息。包括它所存储的 region 的数量,使用的内存,客户端请求,存储文件数量,WAL
以及队列长度。


    NOTE:
    -------------------------------------------------------------------------------------------------------------------------------------
    这里很多的值背后是由服务器的 metrics framework, 以比较慢的形式做刷新处理。即使重新载入页面所看到的变化也不太明显。metric 的更新周期由
    hbase.regionserver.metrics.period 配置属性控制,默认为 5 秒。 metric 收集信息是个复杂的过程,因此意味着即使每 5 秒钟更新一次,有些值
    也会以非常慢的速率更新。

第一个选项卡,标题为 base stats, 列出最高级别信息,因此可以快速查看进程的总体状态。列出 requests per second, number of region hosted,
block locality 百分数,slow WAL append Count。

第二个选项卡,标题为 memory, 显示当前使用的内存信息,堆内内存(on-heap)和堆外内存(off-heap)。如果显示当前的和最大配置的 Java 堆,并且与堆外
(off-heap) 内存相同,称为直接内存(direct memory).所有这些值都在集群范围的 hbase-env.sh 配置文件中 Java 进程环境配置。这个选项卡也列出由此
服务器所有内存存储占用的内存。

第三个选项卡为 requests, 并显示出服务器范围的每秒请求数量,读取请求和写入请求数量。

WALs 选项卡列出 write-ahead log 度量信息(metric), 这里是该服务器保存的 WALs 数量。也列出了这些文件所占用的底层存储系统的大小。

下一个是 store files 选项卡,列出实际存储文件的信息。第一个列是当前 region server 服务的存储的数量(number of stores)。下一列列出存储文件的
数量,加上它们所包含的各种索引的大小,有 root index 和 total index 大小,两者都是处理块索引结构的。root index 指向这个块索引的块,因此非
常小。只有 root index 会保持在内存中,而 block index 的块按需要载入并缓存。也会有 Bloom 过滤器(如果为列族启用),它也会在持久化的存储文件中
占用空间。表格中的数值是组合了所有存储文件一起所需要的大小。

最后的 queues 选项卡,列出当前压缩和刷写队列。这些对一个 region server 来说是非常重要的资源,并且很高的队列大小说明服务器有很大的压力,并且
很难跟上后台管理任务(housekeeping tasks)。


■ Block Cache
-----------------------------------------------------------------------------------------------------------------------------------------
第一个 base info 选项卡,列出所选的缓存实现类。块缓存配置为一个联合的缓存(a combined cache), 利用纯内存的(in-memory) LRU 缓存作为 L1(第一
级别)缓存,并利用桶缓存(bucket cache)作为 L2(第二级别)缓存。LRU 缓存设置为使用最大 Java heap 的 20%,而非默认的 40%。块缓存配置为一个堆外
缓存(off-heap cache), 设置为 1 GB, 使用如下配置设置:

    <property>
        <name>hbase.bucketcache.combinedcache.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>hfile.block.cache.size</name>
        <value>0.2</value>
    </property>
    <property>
        <name>hbase.bucketcache.ioengine</name>
        <value>offheap</value>
    </property>
    <property>
        <name>hbase.bucketcache.size</name>
        <value>1024</value>
    </property>

下一个选项卡显示出集群范围的配置,涉及缓存(cache) 属性配置。

下一个选项卡的标题为 statistics, 显示缓存状态的整体信息。


■ Regions
-----------------------------------------------------------------------------------------------------------------------------------------
这部分列出该服务器上的当前存储的每一个 region 的度量信息。

第一个选项卡标题为 base info, 显示每一个 region 的简要概述。有 region name, 开始键和结束键,以及 replica ID. 如果这个 region 是一个读取
复本(a read replica), replica ID 是一个非 0 的数字。

下一个选项卡标题为 request metrics, 保留了 region name 列,显示读请求计数(Read Request Count) 和写请求计数(Write Request Count)。这些值是
内存中累计的,服务器重启会重置计数器。

storefile metrics 选项卡,列出每一个 region 所包含的存储文件的摘要统计。每一个 store 与一个列族相等,并且在其中可以包含 0 (任何数据刷写之前)
到多个数据文件。页面也列出这些文件的联合大小,包括未压缩的和已压缩的。后面两个列说明所有存储文件需要的 block index 和 Bloom filter 的大小。
最后数据本地化率(data locality ratio), 从 0.0 到 1.0,意为 0% 到 100%。

第四个选项卡 memstore metrics,列出累计的,由 in-memory 存储占用的内存数量。

第五个选项卡 compaction metrics,显示当前计划压缩(compaction) cell 的摘要统计,已压缩的 cell 的数量,以及压缩进度百分数。

最后 coprocessor metrics 选项卡,显示每一个协处理器被调用所耗费的时间。

■ Software Attributes
-----------------------------------------------------------------------------------------------------------------------------------------
Region Server UI 状态页面的这部分列出集群范围的设置,如安装的 HBase 和 Hadoop 版本,ZooKeeper quorum, 载入的协处理器类等等。表格列出属性名
(attribute name), 当前值,以及一个简短描述。

 

5.4 公共页面 (Shared Pages)
-----------------------------------------------------------------------------------------------------------------------------------------
在 master, region server, 以及 table 页面的顶部有几个通用的链接可以导航到其它的页面,显示或控制其它信息。


■ Local Logs
-----------------------------------------------------------------------------------------------------------------------------------------
这个链接提供了一个不需要访问服务器本身,就可访问日志文件的快捷方法。它首先列出日志目录的内容,单击某个日志以查看其内容。


■ Log Level
-----------------------------------------------------------------------------------------------------------------------------------------
这个链接导航到一个小型表单,可以查看和设置 HBase 进程使用的日志级别。单击 Get Log Level 按钮,会显示出当前的日志级别信息。


■ Debug Dump
-----------------------------------------------------------------------------------------------------------------------------------------
出于调试的目的,可以利用这个链接转储当前 Java 进程的很多信息,包括当前运行线程的栈跟踪信息。可能包括下列信息,根据 HBase master 和 region
server 可能有所区别:


    ● Version Info
    -------------------------------------------------------------------------------------------------------------------------------------
    在状态页面的底部列出一些信息,即 HBase 和 Hadoop 版本,以及编译信息。

    ● Tasks
    -------------------------------------------------------------------------------------------------------------------------------------
    打印出在当前服务器上运行的所有监控的任务。
    

    ● Servers
    -------------------------------------------------------------------------------------------------------------------------------------
    只有在 master server 上才有,输出每个活动的 region server 名称和负载。


    ● Regions in Transition
    -------------------------------------------------------------------------------------------------------------------------------------
    Master Only, 列出转换中的 region, 如果有的话。
    
    
    ● Executors
    -------------------------------------------------------------------------------------------------------------------------------------
    显示出所有当前配置的执行器线程,工作于当前各种不同的任务上。
    
    
    ● Stacks
    -------------------------------------------------------------------------------------------------------------------------------------
    转储所有 Java 线程的栈跟踪。
    
    
    ● Configuration
    -------------------------------------------------------------------------------------------------------------------------------------
    打印出当前服务器载入的配置信息。


    ● Recent Region Server Aborts
    -------------------------------------------------------------------------------------------------------------------------------------
    Master Only, 列出最后 region server 终止的原因,即某个服务器被停止或遗弃(abandoned) 的原因。
    
    
    ● Logs
    -------------------------------------------------------------------------------------------------------------------------------------
    打印出服务器的日志消息,截取最后 100 KB, 但可以通过给 URL 添加 tailkb 参数改变请求日志的数量。
    
    
    ● Region Server Queues
    -------------------------------------------------------------------------------------------------------------------------------------
    显示有关压缩和刷写队列的详细信息。包括不同的压缩类型,拆分,以及 region  合并。可以通过设置 hbase.regionserver.servlet.show.queuedump
    配置属性为 false 来禁用此功能。
    
    
■ Metrics Dump
-----------------------------------------------------------------------------------------------------------------------------------------
打印出当前服务器的 metric 信息。

 

■ HBase Configuration
-----------------------------------------------------------------------------------------------------------------------------------------
输出当前服务器载入的配置信息。

 

                               (本篇完)

 

参考:

HBase 客户端类型 (一)

HBase 客户端类型 (二)

HBase 客户端类型 (三)

HBase 客户端类型 (四)

 

参考:

    《HBase - The Definitive Guide - 2nd Edition》Early release —— 2015.7 Lars George

HBase部署完成,Web UI界面无法打开有效解决方法 问题: 1、HBase已经部署完成,jps查看进程都存在,但HMaster总会闪退。 2、16010的界面无法打开(拒绝链接) 3、三台节点的16030界面显示如下(regionserver只在初始化) 问题分析:本人遇到此问题时,查询到有很多的解决方法,但都无效,且这些解决方案都模棱两可,没有直接说明。 经本人查看日志显示znode data == null 解决方法: hadoop的配置文件core-site.xml中: <property&gt... 阅读详情

相关推荐

HBase | HBase从介绍到Java客户端开发

文章目录HBase入门认识HBase介绍HBaseHBase架构RegionServer集群结构HBase逻辑存储结构HBase物理存储结构HBase安装前期准备HBase安装步骤Hbase启动HBase验证备份masterHBase命令HBase 命令介绍HBase Shell命令介绍status命令命名空间namespace相关命令介绍create_namespace命令drop_namesp...

whisky_12的博客 2659

一文读懂分布式数据库Hbase

一、 1、什么是Hbase。 是一个高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。 适合于存储非结构化数据,基于列的而不是基于行的模式 哈哈

zhanggf的博客 1万+

大数据HBase(四):HBase的相关操作-客户端命令式

HBase的相关操作客户端命令式 我们可以以shell的方式来维护和管理HBase。例如:执行建表语句、执行增删改查操作等等 1、进入HBase客户端命令操作界面 $ bin/hbase shell 2、查看帮助命令 hbase(main):001:0> help ......

Lansonli(蓝深李)的博客 2910

HBase Web UI

HBase 简介 Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. 应用场景(Use Case): -存储大数据billions of rows X millions of columns (TB/PB) -实时-随机读取以及写入real-time random write/re...

tianyeshiye 8076

HBase的简单学习四

HBase中的行是按照rowkey的字典顺序排序的,这种设计优化了scan操作,可以将相关的行以及会被一起读取的行存取在临近位置,便于scan。然而糟糕的rowkey设计是热点的源头。热点发生在大量的client直接访问集群的一个或极少数个节点(访问可能是读,写或者其他操作)。大量访问会使热点region所在的单个机器超出自身承受能力,引起性能下降甚至region不可用,这也会影响同一个RegionServer上的其他region,由于主机无法服务其他region的请求。

weixin_65909965的博客 1106

HbaseGUI:Hbase图形用户界面

更多文档请转到 简介 HbaseGUI可视化工具,通过Hbase-client直接操作Hbase。提供可视化查询、元数据管理和支持预分区建表三大功能 特点 响应式设计 Hbase数据/操作可视化 提供包括Rowkey、版本号、Scan时间和各类Filter在内的高级查询 提供元数据管理 提供命名空间管理 创建表时支持通过设置起止Rowkey和分区数的方式进行预分区 Hbase版本支持社区版(作者使用Ambari Hbase做的测试)和阿里云版 支持v1.*~v2.*版本Hbase(2.*版本支持将会在第一个Release发布时提供) 支持版本热切换功能。即:不重启GUI程序的情况下,动态切换不同版本的Hbase数据库 原生支持黑暗主题(致谢Jmeter) 架构图 工程分为三部分组成:HBaseGUISwing主程序,Hbase-adapter-interface适配器接口层和Hbase-a

HBase 客户端类型

HBase自带了很多用于各种编程语言客户端。 1. 介绍 (Introduction) ---------------------------- 从目前非常流行的语言和环境可以访问 HBase。可以直接使用客户端 API, 或者通过一些中间代理访问,将用户请求翻译成 API 调用。这些代理将原生的 Java API 包装成其它协议的 API,这样客户端就可以使用这些对外提供的 API ...

xiaoyaGrace的博客 332

MaserUI:基于phaser js引擎的ui系统,完全基于PIXI和Phaser系统。 具有允许您为游戏 UI 实现动态布局、通过所有设备正确缩放和定位的功能

用户界面 基于phaser js引擎的ui系统,完全基于PIXI和Phaser系统。 具有允许您为游戏 UI 实现动态布局、通过所有设备正确缩放和定位的功能 安装: npm 安装 git+ --save 当你想使用它时,比在代码中简单地写 var MaserUI = require("MaserUI"); 访问命名空间 演示: :

hbase 客户端超时、重连设置

hbase 客户端超时、重试策略设置

zychun1991的博客 1万+

利用Civil3D装配设计器(SAC)建设高度形状自适应挡土墙

之前的模型都是点线,最后加一个形状,形成面。再根据现场测得的挡土墙的墙脚的点生成中心线(alignment),在中心线的基础上生成在现有地面(existing ground level)的高程(profile)。简单的说,该墙的墙趾啊,墙踵啊,基底下面那个把儿啊,都是随着高度变化的,而高度是随着下面这个高程图变化的。接着出现角度和Y的文本框,角度92,y 值随便写一个,然后重要的是,高程目标选路面(优先于Y值)。意思是P2的高度,也就是路面的高程,减去P10,墙脚高程,再减去墙脚埋进地里的深度0.8m。

测量老覃 的博客 1131

晶圆测试(Wafer Sort)的核心技术与良率提升策略

晶圆测试(Wafer Sort)是芯片制造中的关键“入学考试”,通过探针台与自动测试设备(ATE)对晶圆上的芯片进行功能与参数测试,筛选不合格芯片以控制成本。本文深入解析了其核心技术,包括自动化视觉系统对准、测试流程优化策略,并探讨如何利用测试数据驱动良率提升,展望了DFT与AI智能测试的未来趋势。

e4f5g6h的博客 519

Hbase学习(三)-- Hbase客户端

对于使用Hbase,通常情况下是Hbase客户端到Hbase服务端再到HDFS客户端这么一个路径,所以使用Hbase时需要对Hbase客户端有较好的理解。实际上,由于Hbase的复杂性以及Region的定位设计在客户端上(hbase:meta元数据表缓存在客户端上用于定位region),导致Hbase客户端并不足够轻量级。 Hbase客户端实现: Hbase提供了多种语言的客户端,由于Hbase是通过Java语言实现的,所以非Java语言需要先访问ThriftServer,然后通过Jav...

qq_38787854的博客 7737

信创环境下,软件测试如何破局?

毕竟,在自主可控的道路上,每一行通过测试的代码,都在为信创产业的未来添砖加瓦。未来,测试工程师不仅要验证软件在信创环境的可用性,更要基于国产软硬件的特性,推动软件进行 “原生设计”—— 例如,针对国产 CPU 的多核架构优化代码,基于国产数据库的索引机制提升查询效率。某政务云平台的测试数据显示,在 “飞腾芯片 + 麒麟操作系统” 环境下,系统的并发处理能力较传统环境下降约 15%,测试团队通过优化软件的线程调度逻辑,最终将性能损失控制在 5% 以内 —— 这正是信创性能测试的价值所在。

weixin_45608163的博客 886

hbase的java客户端

hbase提供了java客户端去操作数据,我们通过创建一个maven项目来实现简单的数据操作。 pom.xml添加hbase插件 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version&...

qq_25542879的博客 909

120、ISP 驱动架构解析:从 V4L2 请求到 ISP 硬件的配置下发流程

本文以实际案例解析ISP驱动架构的V4L2到硬件配置下发流程。作者通过一个因内存共享导致画面闪烁的bug案例,详细剖析了用户空间参数通过V4L2结构体传递、驱动层拆包与硬件寄存器映射、时序同步机制等关键环节。特别强调深拷贝、dirty flag增量更新、shadow register等实现要点,并给出多路并发隔离、寄存器写入失败等典型问题的排查方法。文章建议开发者深入理解参数到寄存器的转换过程,推荐通过debugfs实时监控寄存器状态,避免过度依赖自动调试工具。全文以实践为导向,对ISP驱动开发具有直接指导

sundong_81的博客 159

同步调相机启动与并网控制技术方案

同步调相机起动与并网控制技术方案采用背靠背变流器系统,通过静止变频器(SFC)策略实现无原动机驱动的同步电机从静止到同步转速的平稳起动。方案详细阐述了硬件自检、模块初始化、转子位置检测等关键环节,重点解决启动转矩为零、冲击电流大等挑战。系统基于STM32或C2000系列控制器,包含网侧/机侧变流器、检测保护单元及通信接口,通过励磁脉冲和电压响应分析实现高精度转子初始定位,为后续并网提供必要条件。代码级实现涵盖了ADC自检、数字IO验证及通信端口测试等核心功能。

huanghm88的专栏 308

hbase客户端操作

hbase客户端操作  移除点击此处添加图片说明文字 集群全部搭建完毕:  移除点击此处添加图片说明文字 ​1.首先启动zookeeper集群,在bin下执行,每台都要启动 ./zkServer.sh start​​ 2.找到hadoop的sbin执行: ./start-all.sh 3.找到hbase的bin下执行: ./start-hbase.sh  移除点

大壮的博客 5683

Kong API Gateway 配置与深入

Kong是一个开源的、高性能的API网关,提供了一种简单易用的服务间路由、流量管理和安全防护方案,其最初起源于Nginx Inc.,但后迁移至Apache Software Foundation。Kong支持RESTful、GraphQL、TCP/UDP等协议,可与AWS Lambda、Azure Functions、Google Cloud Functions等云函数平台集成。其主要功能包括:服务发现与负载均衡、请求代理、身份认证与授权、缓存、日志记录、监控指标、灰度发布、多种插件等。

AI天才研究院 2286

HBase 客户端类型 (二)

3.Framework Clients --- 在更直接的网关客户端之后,现在要讨论第二类客户端,将它们统称为框架(framework)。这类客户端提供了更高级的抽象,一般使用 domain specific language (DSL) 的形式。包括,例如 SQL, 关系数据库系统与外部客户端的混合用语(lingua franca),以及 MapReduce, 原始的处理框架,用于编写和执行 长...

heima201907的博客 325

【MATLAB代码】蚁群算法(Ant Colony Optimization, ACO)路径规划(避障)仿真程序,订阅专栏后可直接查看完整源代码

基于蚁群算法的路径规划系统。可自定义起点、终点和障碍物地图,系统通过蚁群算法自动计算最优路径,并输出路径坐标、障碍物地图和收敛曲线。完整MATLAB源代码直接运行。适用于复杂障碍环境下的路径优化问题。

985工科博士毕业,专攻定位、导航和滤波等算法研究。从业10年,主要使用MATLAB 3092

QGis软件 —— 2、QGis加载在线地图两种方式(谷歌地图、天地图)

QGis软件 —— 2、QGis加载在线地图两种方式(谷歌地图)

1万+

Hbase的客户端连接及使用

package cn.edu360.hbase.demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescri...

weixin_42279393的博客 2915

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

dotnetcore 与 hbase 之三——c# for hbase 客户端的使用

说明 在上一篇文章dotnetcore 与 hbase 之二——thrift 客户端的制作中已经可以找到 c# hbase 客户端的使用方法了,为什么这里单独列出一篇文章来讲述呢?最简单的理由就是,本篇将为客户端的使用讲述一些简化性工作以及需要注意的事项。为此,我们做了一些工作HbaseNetCore。 存在的差异 在 c# hbase 客户端中,接口基本只接受或返回 byte 数组型的...

weixin_30307921的博客 990

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Apache HBase 客户端与 API 使用完全指南

Apache HBase 是一个开源的分布式列存储数据库,基于 Hadoop 生态系统构建,专为处理海量非结构化数据而设计。作为 Google Bigtable 的开源实现,HBase 提供了高可靠性、高性能和强一致性的数据存储能力。 本文将深入探讨 HBase 客户端 API 的使用,涵盖从基础连接到高级操作的完整流程,帮助开发者快速掌握 HBase 的核心编程接口。 ## 核心概念解析 ...

gitblog_00961的博客 1224

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Hbase(二)Client客户端

对于使用HBase的业务方来说,从HBase客户端到HBase服务端,再到HDFS客户端,最后到HDFS服务端,这是一整条路径,其中任何一个环节出现问题,都会影响业务的可用性并造成延迟。因此,HBase的业务方需要对HBase客户端有较好地理解,以便优化服务体验。而事实上,由于HBase本身功能的复杂性以及Region定位功能设计在客户端上,导致HBase客户端并不足够轻量级。 1、 HBase客户端实现 HBase提供了面向Java、C/C++、Python等多种语言的客户端。由于HBase本身是Ja

cyq6239075的博客 3601
上一篇: HBase 客户端类型 (三)
下一篇: 走进 Linux shell (二)
devalone
博客等级 码龄17年 108粉丝 80原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值