解决直接读HFile时因表数据写入而导致文件目录变化问题

最新推荐文章于 2023-08-10 09:24:19 发布
原创 最新推荐文章于 2023-08-10 09:24:19 发布 · 418 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #Hadoop #snapshot

转载请标明出处：http://blackwing.iteye.com/admin/blogs/2188077

数据量大的情况下，通过直接读取HFile来获得hbase表数据性能比通过HTable读取有优势，但当读取HFile时，table同时有数据写入，那么可能因为split、compact等原因导致某些HFile不存在，导致任务失败。

如果通过hdfs的snapshot快照功能，对某个table进行快照后，在读取快照，则不会出现问题。步骤如下：

1. 把需要快照的表设置为snapshottable
hdfs dfsadmin -allowSnapshot <path>

对应的java入口
HdfsAdmin : void allowSnapshot(Path path)



2. 生成快照
hdfs dfs -createSnapshot <path> [<snapshotName>]

对应的java入口
FileSystem : createSnapshot(Path path) 或者 createSnapshot(Path path, String snapshotName)


快照会存放在被快照目录的隐藏文件.snapshot目录下；创建snapshot时，需要是文件夹的owner


接下来，之间读取.snapshot目录下对应快照就行。


官方参考文章：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html
189.HBase（三）：master架构，RegionServer架构，写流程，写缓存的刷写，HFile，读流程，合并读取的数据，store文件合并，region分区
鹏哥哥Aaa
12-27 392
master架构，RegionServer架构，写流程，写缓存的刷写，HFile，读流程，合并读取的数据，store文件合并，region分区
HBase与Kafka集成：构建实时大数据处理管道
AI天才研究院
05-02 898
在大数据时代，企业对实时数据处理的需求日益迫切：从物联网设备的实时监控到电商的秒级订单处理，从日志的实时分析到金融交易的实时风控，都需要高效的实时数据管道支撑。HBase作为Apache顶级项目，以其高并发随机读写、海量数据存储能力，成为实时数据存储的首选；Kafka则凭借高吞吐量、低延迟的消息队列特性，成为实时数据流的“神经中枢”。二者的集成，可构建“数据摄入→实时处理→持久化存储”的完整链路，解决传统架构中实时性不足、存储与计算割裂的问题。HBase与Kafka的核心概念与互补性分析。
file 文件存在 目录
朴勇佑的专栏
05-04 798
&lt;uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" /&gt; &lt;uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" /&gt; path = Environment.getExternalSto...
HBase Hfile文件结构（整理）
码基的博客
07-12 387
HBase-HFile的读写操作
...
05-03 1163
  写入数据:   public class TestWrit { private static Configuration cfg = new Configuration(); private static final int BLOCK_INDEX_SIZE = 60; private static final int BLOOM_BLOCK_INDEX_SIZE = 10...
MR任务读取HFile
qq_35542970的博客
01-28 2214
近期需要开发个功能，通过MR批量读取HFile文件，并以Result的格式写入到其他存储系统中。过程中遇到了一些坑，在此记录下。 前期调研 基于MR的HBase数据读取，常用的是基于HBase官方的TableMapper实现。但是这里需要读取HFile文件，且不想经过HBase（BulkLoad场景下，读取增量数据，但不想全扫描HBase表），那这个方案就不合适啦。 ...
生成HFile以及入库到HBase
i am me，haha，么么哒。。。
08-27 1026
1. MapReduce 生成 HFile package insert.tools.hfile; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConf
// 创建Server // pStructPointer 结构体指针 // iStructPointerSize 结构体大小 // strBulidSavePath 保存路径 // pDatBuffer Dat文件数据Buffer // dwDatBufferSize Dat文件数据大小 // 成功返回TRUE,否则失败,并会设置错误信息 //1、上线结构指针 //2、上线结构大小 //3、存储DLL BUF //4、DLL大小 //1、原始DLL数据 BOOL CBulidServer::CreateServer(PVOID pStructPointer, INT iStructPointerSize, PCTSTR strBulidSavePath, PCHAR& pDatBuffer, DWORD& dwDatBufferSize) { HANDLE hFile = INVALID_HANDLE_VALUE; // 文件句柄，初始化为无效值 DWORD dwWriteSize = 0; // 实际写入的字节数 // 结构数据在Dat数据中所在位置偏移 UINT uStructDataOffset = 0; // 结构体在数据缓冲区中的偏移量 // 查找结构数据在Dat数据中所在位置偏移 uStructDataOffset = FindStructDataOffset(pStructPointer, iStructPointerSize, pDatBuffer, dwDatBufferSize); printf("偏移 = %d\n", uStructDataOffset); if (uStructDataOffset == 0) // 如果未找到结构体偏移量 { goto ERROR_HANDLE; // 跳转到错误处理 } // 创建Server文件 hFile = CreateFile(strBulidSavePath, // 文件路径 GENERIC_ALL, // 访问权限（全部） NULL, // 不共享 NULL, // 默认安全属性 CREATE_ALWAYS, // 总是创建新文件 NULL, // 无特殊属性 NULL); // 无模板文件 if (hFile == INVALID_HANDLE_VALUE) // 如果文件创建失败 { printf("创建错误·"); goto ERROR_HANDLE; // 跳转到错误处理 } // 写入结构体所在位置之前的数据 WriteFile(hFile, // 文件句柄 pDatBuffer, // 数据缓冲区 uStructDataOffset, // 要写入的字节数（结构体之前的数据） &dwWriteSize, // 接收实际写入字节数 NULL); // 不使用重叠I/O printf("pDatBuffer = 0x%x\n", pDatBuffer); if (dwWriteSize != uStructDataOffset) // 如果写入字节数不匹配 { printf("写入失败\n"); goto ERROR_HANDLE; // 跳转到错误处理 } // 写入上线数据 WriteFile(hFile, // 文件句柄 pStructPointer, // 结构体指针 iStructPointerSize, // 结构体大小 &dwWriteSize, // 接收实际写入字节数 NULL); // 不使用重叠I/O if (dwWriteSize != iStructPointerSize) // 如果写入字节数不匹配 { printf("写入失败·\n"); goto ERROR_HANDLE; // 跳转到错误处理 } // 写入结构体之后的数据 WriteFile(hFile, // 文件句柄 pDatBuffer + uStructDataOffset + iStructPointerSize, // 结构体之后的数据起始位置 dwDatBufferSize - uStructDataOffset - iStructPointerSize, // 剩余数据大小 &dwWriteSize, // 接收实际写入字节数 NULL); // 不使用重叠I/O if (dwWriteSize != dwDatBufferSize - uStructDataOffset - iStructPointerSize) // 如果写入字节数不匹配 { printf("大小不匹配\n"); goto ERROR_HANDLE; // 跳转到错误处理 } // 操作完成 CloseHandle(hFile); // 关闭文件句柄 return TRUE; // 返回成功 ERROR_HANDLE: printf("出错误了1\n"); if (hFile != INVALID_HANDLE_VALUE) // 如果文件句柄有效 { printf("出错误了\n"); CloseHandle(hFile); // 关闭文件句柄 } return FALSE; // 返回失败 } 理解代码用途 修改代码添加随机区段随机大小 修改代码段减小熵值 不要改变原有意思 不要影响正常使用
07-11
注意：在写入随机数据之前，文件指针已经在文件末尾（因为刚刚写完了结构体之后的所有数据），所以我们直接写入即可。 另外，我们需要在函数开头初始化随机种子，以确保每次生成的随机数不同。但是，这个函数可能...
qtVS在文件被写入的情况下读取文件内存大小
10-22
如果文件被其他进程以独占方式写入导致无法访问，则需要考虑共享打开文件（使用操作系统API）或者与写入进程协调。 但是，注意：在文件正在被写入时，获取的文件大小可能是中间状态。如果用户需要的是最终完成写入...
HBase与MongoDB在海量数据处理中的性能对比
AI天才研究院
08-10 1102
2017年7月，MongoDB宣布了它的分布式文档数据库Atlas云服务，这标志着非关系型数据库进入了一个新的阶段——云时代。随后，Hbase也宣布了它首个公开版本，基于Apache基金会开发的开源分布式 NoSQL 数据库。然而，这两个数据库却引起了不小的争议，究竟哪一个更适合用来存储海量的数据？或许，对于刚刚接触到这两种数据库的读者来说，这种困惑可能并没有想象中那么简单。
hbase hfile java_java读取hfile
weixin_32121569的博客
02-23 652
import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.Map;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.ha...
HBase模型RegionServer架构及Region/Store/StoreFile/Hfile之间的关系
syyyyyyyyyyyyyyh的博客
09-16 1333
数据模型 1.Name Space 命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。HBase两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间 2.Table Table类似于关系型数据库的表概念。不同的是，HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更
HFILE分析
01-20 1636
该文档转载至http://www.open-open.com/lib/view/open1388368126000.html（手动批注）   在这里主要分析一下HFile V2的各个组成部分的一些细节，重点分析了HFile V2的多级索引的机制，接下去有时间的话会分析源码中对HFile的读写扫描操作。 HFile和流程： 如下图，HFile的组成分成四部分，分别是Scanned Block
HBase之HFile解析
weixin_30483697的博客
06-18 260
Sumary: Protobuf BinarySearch 本篇主要讲HFileV2的相关内容，包括HFile的构成、解析及怎么样从HFile中快速找到相关的KeyValue.基于Hbase 0.98.1-hadoop2,本文大部分参考了官方的资源，大家可以先阅读下这篇官方文档，Reference Guide:http://hbase.apache.org/book/apes03.h...
[SPARK][HBASE]spark读取文件，生成hfile并批量导入hbase以及遇到的spark运行时候的问题
MyNameIsWangYi的博客
04-13 1519
目录1.使用scala读取文件，生成hfile，bulkload2.展示一下java代码，不如scala快3.暂时认为最靠谱的put批量操作 如果你支持scala，恭喜你，很容易 一般写spark程序，文件路径都设置成hdfs路径，不容易报错；要不然容易踩坑，(⊙o⊙)…我踩坑了、将文件上传到hdfs吧。文件路径就写成 hdfs:/// 注意： 1.使用spark的saveAsNewAPIHadoopFile一定要对rowkey，列族，子列 进行排序，否则执行的时候会报错： java.io.IOExcept
hbase hfile java_如何查看HBase的HFile
weixin_39748445的博客
02-13 324
记一个比较初级的笔记。===流程===1. 创建一张表2. 插入10条数据3. 查看HFile===操作===1.创建表packageapi;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumn...
HFile写入Cell浅析（一）
weixin_34241036的博客
03-28 237
在HBase中，无论是MemStore的flush，还是HFile的Compact，都会涉及到新HFile的产生，那么HFile是如何产生的呢？我们又是如何将数据Cell写入到HFile中的呢？本文，我们将会大家简单介绍下HFile写入Cell的主体流程。 在《HFile文件格式》一文中，我们简单给大家介绍了HFile文...
java hbase put hfile_数据导入HBase最惯用的三种方式及实践分析(3)
weixin_35046143的博客
03-03 589
数据导入HBase最常用的三种方式及实践分析(3)HBase数据迁移(3)-自己编写MapReduce Job导入数据 :尽管在将文本文件加载入HBase时importtsv工具十分高效，但在许多情况下为了完全控制整个加载过程，你可能更想自己编写MapReduce Job向HBase导入数据。例如在你希望加载其他格式文件时不能使用importtsv工具。HBase提供TableOutputForm...
易语言解决X86程序崩溃时记录各寄存器信息并写到程序目录
最新发布
11-18
用户希望在其X86程序崩溃时，能够记录各寄存器的信息，并将这些信息写入程序目录中。 分析需求： 1. 程序崩溃时触发：我们需要捕获程序崩溃的事件。 2. 记录寄存器信息：包括通用寄存器、段寄存器、标志寄存器等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值