
hbase
文章平均质量分 87
一纸春秋
张鼎元的博客。
展开
-
HBase快速导入巨量数据—— Bulk Loading
优点:如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的数据格式文件,然后上传至合适位置,即完成巨量数据快速入库的办法。配合mapreduce完成,高效便捷,而且不占用region资源,增添负载。限制:仅适合初次数据导入,即表内数据为空.原创 2021-12-05 23:54:42 · 1829 阅读 · 0 评论 -
HBase调优 —— 参数调优(触发memStore的flush过程的时机条件,具体操作,以及刷写策略)
目录触发 MemStore 的flush过程的时机(条件)Region 中任意一个 MemStore 占用的内存超过相关阈值 或者 Region的全部memStore占用内存总和达到相关阈值整个 RegionServer 的 MemStore 占用内存总和大于相关阈值WAL数量大于相关阈值或WAL的大小超过一定阈值定期自动刷写数据更新超过一定阈值手动触发刷写触发 MemStore 的flush过程的操作MemStore 刷写策略(FlushPolicy)FlushAllStoresPolicyFlushAl原创 2021-12-05 10:10:24 · 1877 阅读 · 0 评论 -
HBase调优 —— rowkey设计的三大原则与热点问题的解决方案
在hbase中,rowkey的设计应该遵循三大原则rowkey唯一原则hbase中数据是以k-v格式存储的,rowkey可以类比为mysql里面的key值,因此在hbase的一张表里面,rowkey不应该重复。而且一个rowkey只能对应一条数据,用rowkey去get表里面的数据时,返回的应该是唯一一条对应的数据记录,不应该返回多条另外,因为rowkey是按照字典顺序排序存储的,所以可以将经常读取的数据存储到一块,将最近可能会被访问的数据放到一块。不过这样做虽然方便了scan等范围查询数据,也可能会原创 2021-12-04 20:53:49 · 2906 阅读 · 0 评论 -
Phoenix笔记 —— 视图映射与关联表映射
phoenix可以用sql语句的形式来操作hbase数据库中的数据,并且phoenix可以支持大部分的mysql里面的sql语法与格式。因此具体的操作,比如增删改查本篇博客不记录了,与mysql里面的sql语句差不多。但是需要注意以下,phoenix的插入语句不是insert,而是upsertupsert into “表名” values()这里记录一下phoenix与hbase的表的映射一般情况下,phoenix是查看不到在hbase中创建的表。因此如果想要在phoenix中操作hbase中的表,原创 2021-12-03 21:25:55 · 2419 阅读 · 1 评论 -
Hbase笔记 —— 过滤器
Hbase 过滤器,介绍了多种比较运算符,多种比较器之间的含义与区别。并且对几种常用的过滤器给出了实例代码,与代码分析原创 2021-12-03 00:10:07 · 1432 阅读 · 0 评论 -
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据)
目录直接在main函数中执行语句借助@Test来运行方法删除表修改表结构列出来所有的表插入一条数据获取一行数据创建表批量读取文件中的数据,并且批量插入表中获取一组数据的值利用CellUtil改善读取数据方式导入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>原创 2021-11-30 23:56:27 · 5298 阅读 · 0 评论