
Hbase
hbase
_a_0_
Who am, Where am.
展开
-
HBase概述
HBase数据模型在BigTable论文中称HBase为 "sparse,distributed,persistent multidimensional sorted map" . 所以由此看来HBase本质看来是一个Map。实际上从逻辑视图来看,HBase中的数据是以表形式进行组织的。与关系型数据库一样,HBase的表也是由行列构成,因此HBase非常容易理解。但是从物理视图来看,HBase是一个Map由键值(KeyValue,KV)构成,不过与普通的Map不同,HBase是一个稀疏的、分布式的、..原创 2020-06-21 18:30:27 · 703 阅读 · 0 评论 -
读取HDFS文件中的数据写入到HBase的表中
核心:Our_Reducer继承TableReducer.准备工作:将数据文件上传到HDFS :hadoop fs -mkdir -p /student/inputhadoop fs -put /student.txt /student/input在HBase中创建相关的表(可以通过命令也可以通过代码):create 'users', 'info'MR代码:import java.io.IOE...原创 2018-04-01 18:00:46 · 11182 阅读 · 4 评论 -
计算HBase指定表中所有用户的平均年龄写入到HDFS中
HBase表中的数据是通过上一篇博客导入的:从HDFS读取文件中的数据写入到HBase的表中import java.io.IOException;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apa...原创 2018-04-01 18:07:55 · 420 阅读 · 0 评论 -
HBase分页查询---指定PageNumber和PageSize
问题:通过指定的页码和每页记录的条数来进行分页查询。分析问题:要实现分页查询,因为查询的是一个范围,所以使用Scan的查询方式。然后还使用PageFilter,这样能够获取指定数量的记录。那么问题来了,要使用scan的方式进行区间查询那么startRow是什么???所以现在将问题转换成了求每一页的startRow !!!当我们使用scan查询又没有指定StartRow的时候,结...原创 2018-04-01 17:27:15 · 11350 阅读 · 1 评论 -
建表语句解析
感谢博主范欣欣的经典博文,博主就职于网易杭州研究院后台技术中心数据库技术组,专注于HBase的开发运维,热衷于MySQL等相关数据库技术。博主地址:http://hbasefly.com/像所有其他数据库一样,HBase也有表的概念,有表的地方就有建表语句,而且建表语句还很大程度上决定了这张表的存储形式、读写性能。比如我们熟悉的MySQL,建表语句中数据类型决定了数据的存储形式,主键、索引则很大程...转载 2018-03-28 15:35:59 · 920 阅读 · 0 评论 -
数据写入流程解析
感谢博主范欣欣的经典博文,博主就职于网易杭州研究院后台技术中心数据库技术组,专注于HBase的开发运维,热衷于MySQL等相关数据库技术。博主地址:http://hbasefly.com/众所周知,HBase默认适用于写多读少的应用,正是依赖于它相当出色的写入性能:一个100台RS的集群可以轻松地支撑每天10T的写入量。当然,为了支持更高吞吐量的写入,HBase还在不断地进行优化和修正,这篇文章结...转载 2018-03-28 15:53:12 · 1060 阅读 · 0 评论 -
HBase原理一
HBase架构组成HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:(图片中有一处错误,Hlog不应该是一个HRegion一个,而是应该一个HRegionServe...转载 2018-03-28 18:37:31 · 213 阅读 · 0 评论 -
HBase原理二
HBase读的实现通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题?要解决这个问题,我们先来分析一下相同的Cell可能存在的位置:首先对新写入的Cell,它会存在于MemS...转载 2018-03-28 18:46:40 · 189 阅读 · 0 评论