bigdata_Hbase
关注
分享
扫一扫
乔治大哥
脚踏实地，仰望星空。
展开
-
重游HBase核心知识点总结
一、HBase介绍1、基本概念HBase是一种Hadoop数据库，经常被描述为一种稀疏的，分布式的，持久化的，多维有序映射，它基于行键、列键和时间戳建立索引，是一个可以随机访问的存储和检索数据的平台。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型，不用SQL语言，也不强调数据之间的关系。HBase被设计成在一个服务器集群上运行，可以相应地横向扩展。2、HBas...原创 2020-02-15 17:49:12 · 392 阅读 · 0 评论 -
Rowkey设计_HBase表设计
在HBase中我们都知道rowkey的设计尤为重要，其设计原则分为三种：长度原则 散列原则 唯一原则那么下面对rowkey的设计做一个详细的阐述：HBase的rowkey设计可以说是使用HBase最为重要的事情，直接影响到HBase的性能，常见的RowKey的设计问题及对应访问为：Hotspotting的行由行键按字典顺序排序，这样的设计优化了扫描，允许存储相关...原创 2019-12-10 21:00:42 · 437 阅读 · 0 评论 -
Hbase调优详情
高可用（highavailable->HA）在HBase中HMaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。1．关闭HBase集群（如果没有开启则跳过此步）[root@hadoop101...原创 2019-12-02 20:10:39 · 346 阅读 · 0 评论 -
hbase总结
hbase hbase是数据库 特点 高可靠性 高性能 面向列 可伸缩 实时读写 数据量 十亿级别的行 百万级别的列 速度快的原因 充分利用内存...原创 2019-11-12 20:11:35 · 361 阅读 · 0 评论 -
那么到底什么是热点？？？
注意这里说的不是hot spot。。。是hbase中的一个概念热点。在其官方文档的行键设计中有着明确的说明：【谷歌翻译，其中有些点，请自动忽略！！！】热点发现HBase中的行按行键按字典顺序排序。该设计针对扫描进行了优化，使您可以将相关行或将一起读取的行彼此靠近存储。但是，设计不当的行键是引起热点的常见原因。当大量客户端流量定向到群集的一个节点或仅几个节点时，就会发生热点。此流...原创 2019-11-08 09:59:05 · 696 阅读 · 0 评论 -
Hbase的读写速度，写比读快
首先，需要明确的是，Hbase写入速度比读取速度要快，根本原因LSM存储引擎https://blog.youkuaiyun.com/qq_41946557/article/details/102961610不过简单来说：当你在hbase中写入数据的时候，什么时候算写入，很明显，写入到memstore中，既然写入内存中，当然很快了。而你读数据的时候呢？你会读取memstore，如果没有，下一步缓存，在下...原创 2019-11-07 21:37:36 · 2944 阅读 · 0 评论 -
hbase 中的LSM树存储引擎
LSM的原理：将对数据的修改增量保存在内存中，达到指定大小限制之后批量把数据flush到磁盘中，磁盘中树定期可以做merge操作，合并成一棵大树，以优化读性能。不过读取的时候稍微麻烦一些，读取时看这些数据在内存中，如果未能命中内存，则需要访问较多的磁盘文件。极端的说，基于LSM树实现的hbase写性能比mysql高了一个数量级，读性能却低了一个数量级。LSM树原理把一颗大叔拆分成N颗小树，它...原创 2019-11-07 20:00:25 · 908 阅读 · 0 评论 -
hbase shell中命令无法删除？
这种问题发散一下大脑，我们经常使用的键，无效，是不是有用ctrl+这个键的情况。所以ctrl+删除键。。。没错就是这么反人类的操作，不过听好像新版本中解决这个问题了。你将来写软件，也可以反人类一波。哈哈哈！！！...原创 2019-11-05 14:05:08 · 441 阅读 · 0 评论 -
hbase安装好60010无法访问
嗯，我说端口号是16010.原创 2019-11-05 13:51:45 · 808 阅读 · 0 评论 -
HBase性能优化方法总结（三）：读表操作
3. 读表操作3.1 多HTable并发读创建多个HTable客户端用于读操作，提高读数据的吞吐量，一个例子：staticfinalConfiguration conf = HBaseConfiguration.create();staticfinalString table_log_name = “user_log”;rTableLog = newHTable[tab...原创 2019-10-06 13:06:44 · 228 阅读 · 0 评论 -
HBase性能优化方法总结（二）：写表操作
2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子：staticfinalConfiguration conf = HBaseConfiguration.create();staticfinalString table_log_name = “user_log”;wTableLog = newHTable[tab...原创 2019-10-06 13:04:20 · 274 阅读 · 0 评论 -
HBase性能优化方法总结（一）：表的设计
1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。...原创 2019-10-06 13:03:27 · 295 阅读 · 0 评论 -
Hbase 02_伪分布式、完全分布式
伪分布式：在一台没有zk的节点上搭建。tarrm -rf docs伪分布式1.hbase-env.sh中配置JAVA_HOME2.配置hbase-site.xml如下 <property> <name>hbase.rootdir</name> <value>file:///home/testuser/h...原创 2019-10-01 22:27:31 · 257 阅读 · 0 评论 -
关于同步时间——hadoop
date -s "yyyy-MM-dd HH:mm:ss"再来一种：每个节点：yum install ntpdatantpdate ntp1.aliyun.comdateok！！！！！！原创 2019-10-01 21:38:47 · 223 阅读 · 0 评论 -
Hbase 01_初学必知
Hbase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库-利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务-主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）HBase 数据模型...原创 2019-09-28 22:43:31 · 285 阅读 · 0 评论