Hbase HFile 文件介绍

做一些深度思考

于 2023-07-30 10:27:14 发布

阅读量304

点赞数

文章标签： hbase 数据库大数据

本文链接：https://blog.youkuaiyun.com/weixin_45851738/article/details/132004158

版权

HFile是HBase在HDFS上的数据存储格式，包含keyvalue键值对、元数据和索引。布隆过滤器用于快速判断key是否存在，减少不必要的磁盘查找。当memstore达到一定阈值时，HFile会进行刷写到磁盘。布隆过滤器的准确性受限于key的数量和内存占用，可能会有假阳性但不会有假阴性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HFile 文件介绍

HFile 是 HDFS 上每个 store 文件夹下实际存储数据的文件了。这个文件存储了很多信息。

数据本身（key value 键值对）
元数据记录
文件信息
数据索引
元数据索引
固长尾部信息

每个 HFile 还会维护一个 布隆过滤器，文件中每有种 key，就在对应的位置标记。可以快速判断 get 的 key 在不在当前 HFile 中。

hbase hfile -m -f /hbase/data/bigdata/student/dad1271908af8262bf4c44a52bb24af1/name/93d3c00468014928a1e509b78b3475f5 使用这个命令可以看到 HFile 元数据的内容。
在这里插入图片描述

思考

HFile 文件从 mem store 多久进行一次刷写呢，刷写条件是什么？
布隆过滤器可以进行多少 key 的判断（或者说百万key 判断需要占用多大内存）
布隆过滤器什么情况无法得到准确信息？

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

做一些深度思考

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

构建HBase知识网络：深入理解LSM、MemTable与HFile的工作原理

数据与算法架构提升之路专栏

04-09

530

Hbase是如何实现LSM的memtable的。或者说，hbase查询的时候如何在内存中命中kv的，和hfile有啥联系

HBase高性能随机查询之道 – HFile原理解析

qq_42580464的博客

07-07

608

在各色数据库系统百花齐放的今天，能让大家铭记的，往往是一个数据库所能带给大家的差异化能力。正如梁宁老师的产品思维课程中所讲到的，这是一个数据库系统所能带给产品使用者的"确定性"。差异化能力通常需要从数据库底层开始构筑，而数据存储方式显得至关重要，因为它直接关乎数据写入与读取的效率。在一个系统中，这两方面的能力需要进行很好的权衡：如果设计有利于数据的快速写入，可能意味着查询时需要需要花费较大的精力去...

1 条评论您还未登录，请先登录后发表或查看评论

HBase篇(4)-你不知道的HFile

aydnwba6940的博客

11-08

362

【每日五分钟搞定大数据】系列，HBase第四篇这一篇你可以知道， HFile的内部结构？ HBase读文件细粒度的过程？ HBase随机读写快除了MemStore之外的原因？上一篇中提到了Hbase的数据以HFile的形式存在HDFS，物理存储路径是： NameSpace->Table->Region->CF->HFile 这一篇我们来说下这个HFil...

HBase之HFile详解

热门推荐

happy19870612's blog

11-12

1万+

HFile是HBase存储数据的文件组织形式。HFile经历了三个版本，其中V2在0.92引入，V3在0.98引入。HFileV1版本的在实际使用过程中发现它占用内存多，HFile V2版本针对此进行了优化，HFile V3版本基本和V2版本相同，只是在cell层面添加了Tag数组的支持。

Hbase---hfile

Y521316的博客

06-09

1653

Hbase---hfile

HBase之HFile解析

zkq_1986的博客

03-09

1064

图1 从图1可知，HFile主要分四部分:Scanned block section, Non-scanned block section, Load-on-open-section以及Trailer。 Scanned block section: 即存储数据block部分 Non-scanned block section:元数据block部分，主要存放meta

hbase hfile java_生成HFile以及入库到HBase

weixin_42427882的博客

02-23

403

/*** Copyright 2009 The Apache Software Foundation** Licensed to the Apache Software Foundation (ASF) under one* or more contributor license agreements.See the NOTICE file* distributed with this wor...

Hbase环境部署以及HFile文件导入HBase

An_air的博客

10-19

1111

Hbase环境部署 1.vi /etc/profile export HBASE_HOME=/opt/programs/hbase-1.2.7 export PATH=$PATH:$HBASE_HOME/bin 2.vi conf/hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_25 #Java安装路径 export HBASE_CLASSP...

java从本地读文件并上传Hbase

05-22

在Java编程环境中，将本地文件读取并上传到HBase是一项常见的任务，特别是在大数据处理和存储的场景下。HBase是一个分布式、版本化的NoSQL数据库，基于Apache Hadoop，适用于大规模数据存储。以下是一个详细的过程，...

通过Hive自带的jar包生成Hbase的Hfile

林的博客

06-29

2797

1. hive建表set hive.execution.engine=mr; set hfile.compression=gz; add jar hive-hbase-handler-version.jar; create table my_hbase_table(key string, cf_0_c0 string, cf_0_c1 string, ...) stored as INPUTF...

hbase查看hfile

leveretz的博客

08-17

616

原文地址：https://www.cnblogs.com/ilifeilong/p/10846883.html 原文地址：https://www.cnblogs.com/quchunhui/p/7611565.html ===流程=== 1. 创建一张表 2. 插入10条数据 3. 查看HFile ===操作=== 1.创建表 package api; import org.apache.hadoop.conf.Configuration; import org.apache.h

HBase-HFile结构分析

淡定一生2333的博客

12-11

2647

hbase hfile命令使用

学亮编程手记

09-24

375

hbase hfile命令用法

dinghua_xuexi的专栏

07-22

974

数据准备 # hbase shell窗口插入数据 hbase(main):015:0> put 'rrw_ugrp', 'rk002', 'user_attri:name', 'xiaoming002' Took 0.0112 seconds

Hbase的Hfile存储

aaa1117a8w5s6d的专栏

07-28

2096

HBASE是按列存储的，所以很多人都认为相同column family（列族）或者qualifier（小列）的数据存储在一起。这个理解是正确的吗？真相是：如果内存中有不同的KeyValue，这些KeyValue的rowkey不同，CF（列族）不同，Qualifier(小列)不同。当内存执行flush 的时候(操作方法： flush 'tablename')，所有的相同列族存储

hbase实践之HFile结构

weixin_33692284的博客

09-27

291

本文目录如下所示：目录 HFile在HBase架构中的位置什么是HFile HFile逻辑结构 HFile逻辑结构的优点 HFile物理结构 HFile生成流程 HFile中Block块解析多大的HFile文件才存在Intermiate Index Block HFile在HBase架构中的位置如上图所示，HFile是HBase最底层的文件组织形式。 Table --N R...

HBASE 学习----第一篇--Hfile 解析

l715181215的专栏

06-25

1109

追踪hfile的读方法：

HBASE HFILE命令用法(查看hdfs上hbase文件的内容)

Ramelon的博客

11-23

1686

[ramelon@hadoop101 ~]$ hbase hfile usage: hfile [-a] [-b] [-e] [-f <arg> | -r <arg>] [-h] [-i] [-k] [-m] [-p] [-s] [-v] [-w <arg>] -a,--checkfamily Enable family check -b,--printblocks Print block index meta data

hbase通过hfile将数据文件导入hbase表会不会卡住

最新发布

05-13

### 关于 HBase 使用 HFile 导入数据时卡住的原因分析在使用 `LoadIncrementalHFiles` 将 HFile 数据导入 HBase 表的过程中，可能会遇到性能瓶颈或进程卡住的情况。以下是可能导致该现象的主要原因及其对应的解决方案： #### 1. **批量加载的 HFile 数量过多** 如果单个 Region 中某个列族的 HFile 数量超过配置的最大值，则会导致 Bulk Load 失败或者过程变慢。可以通过调整参数 `-Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=1024` 来控制每个 Region 和列族中的最大 HFile 数量[^1]。 ##### 解决方案：减少每次生成的 HFile 文件数量，确保其不超过设定的阈值。可以适当降低 MapReduce 输出阶段的并发度，从而减小最终生成的 HFile 总数。 --- #### 2. **WAL 日志堆积引发 MemStore 刷新** 当 RegionServer 上的日志文件（Write-Ahead Log, WAL）数量达到上限（默认为 32），会强制触发 MemStore 的刷新操作[^2]。这可能会影响正在进行的 Bulk Load 流程，尤其是在高负载情况下。 ##### 解决方案： - 增加日志文件的数量限制，修改参数 `hbase.regionserver.maxlogs` 至更高的数值。 - 如果确认不需要 WAL 记录，在执行 Bulk Load 前可临时禁用 WAL 功能，通过设置 `hbase.mapreduce.hfileoutputformat.force.writes=false` 实现。 --- #### 3. **磁盘 I/O 或网络带宽不足** Bulk Load 是一个高度依赖磁盘读写的流程，尤其是当目标表分布在多个 RegionServer 节点上时，跨节点传输大量 HFile 文件会对集群的整体吞吐能力造成压力。 ##### 解决方案： - 提前规划存储路径，尽量让 HDFS 数据靠近对应的目标 RegionServer，减少不必要的远程访问开销。 - 检查并优化底层硬件资源分配情况，例如增加 SSD 替代 HDD、提升网卡速率等措施。 --- #### 4. **时间戳过滤机制失效** 尽管提供了选项 `-Dhbase.mapreduce.hfileoutputformat.skip.timestamp.maxvalue=true` 用于忽略旧版本记录，但在某些场景下此功能未必生效。因此即使启用了这一特性，仍可能存在冗余数据被写入的现象。 ##### 解决方案：验证输入源是否已按需清理重复项；必要时重新设计 ETL 工具链路以保证唯一性和时效性约束条件满足后再提交给下游处理模块。 --- ### 示例代码：优化后的命令调用方式以下是一个经过改进的脚本模板，综合考虑了以上提到的各种因素： ```bash hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles \ -Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=512 \ -Dhbase.regionserver.maxlogs=64 \ -Dhbase.mapreduce.hfileoutputformat.force.writes=false \ -Dhbase.mapreduce.hfileoutputformat.skip.timestamp.maxvalue=true \ hdfs://xx.xx.xx.xx:xxxx/hbase/data/tmp/your_job_output_path your_table_name ``` ---