张伟的专栏

版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.youkuaiyun.com/luoye4321/article/details/90272832版权使用hbase创建namespace和table时提示该错误，完整的错误日志如下：按照网上的解决思路：1、设置主机之间的NTP时间同步。2、修改hbase-site.xml配置文件<property><nam...

订单状态表◦ Rowkey: reverse(order_id) + (MAX_LONG – timestamp)◦ Columns: 该订单各种状态历史订单表◦ Rowkey: reversed(passenger_id | driver_id) + (MAX_LONG – timestamp)◦ Columns: 用户在时间范围内的所有订单司机乘客轨迹通过ID查询轨迹◦ Rowkey: ID+Timestamp ◦ Column: 轨迹详细信息◦ 提供java API给用户...

本文链接：https://blog.youkuaiyun.com/weixin_42487706/article/details/978182911、为何要预分区？*增加数据读写效率*负载均衡，防止数据倾斜*方便集群容灾调度region*优化Map数量2、如何预分区？每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。3、如何设定预分区？1、手动指定预分区hbas...

hbase使用过程中，由于负载不均衡，或者出于某种需要，要将某些区域移动至指定的RS，即区域移动，方法很简单，hbase shell中输入移动回车查看移动用法：hbase(main):001:0> moveERROR: wrong number of arguments (0 for 1)Here is some help for this command:Move a region. Optionally specify target regionserver else...

本文链接：https://blog.youkuaiyun.com/qq_18219755/article/details/97242735官网介绍:http://hbase.apache.org/book.html#hbck.in.depthmeta表修复一Java代码 收藏代码查看hbasemeta情况hbase hbck1.重新修复hbase meta表（根据hdfs上的regioninfo文件，生成meta表）hbase hbck -fixMeta2.重新将hbase meta表分给...

问题及解决方法1.2.1、首先就是reduce相关的问题:在实际的应用中你就会发现,对于稍大一点的数据量,map过程的执行效率还是比较让人满意的,但是到了reduce阶段就会出现比较严重的卡顿,我的困惑就是?我的代码里明明没有reduce过程,为什么还会有reduce过程来影响我入库的效率呢?于是,我尝试着在job里,设置reduce的数量,把它设置为0,可是重新执行的时...

优化的目的我们线上hbase集群使用了group分组功能，但没有针对不同业务分组的特点做特殊优化，hbase服务能力没有彻底激发出来。本文记录了对某个业务分组参数优化的探索，借此机会深入了解不同配置对regionserver监控指标和机器负载的影响。 优化后，单台regionserver查询延迟更低，磁盘IO降低，系统更稳定。从而提高吞吐能力，进而减少机器，提升资源利用率的能力，节约...

1、Region数量的影响通常较少的region数量可使群集运行的更加平稳，官方指出每个RegionServer大约100个regions的时候效果最好，理由如下：1）Hbase的一个特性MSLAB，它有助于防止堆内存的碎片化，减轻垃圾回收Full GC的问题，默认是开启的。但是每个MemStore需要2MB（一个列簇对应一个写缓存memstore）。所以如果每个region有2个fami...

在对hbase操作中，数据读取/写入都是发生在某个HRegion下某个Store里的files。那么究竟在写入hbase时，一个region下到底发生了什么呢?常见的有以下三种情况：1)、memstore flush to disk2)、columnfamily’s files compaction3)、region split首先介绍一些概念:hbase一个表(table)...

升级背景个推作为专业的数据智能服务商，在业务开展过程中存在海量的数据存储与查询的需求，为此个推选用了高可靠、高性能、面向列、可伸缩的分布式数据存储系统——HBase。然而，运行HBase老集群（使用HBase1.0版本）多年后，遇到了两大问题：各节点基础环境不一致；该集群的服务器运行多年已过保。而且随着个推业务量增长，性能方面也开始遇到瓶颈。经过综合评估，个推决定将老集群升级并迁移到HBa...

赞Multiple WAL in Apache HBase 1.3 and performance enhancements!!!0评论0分享分享Multiple WAL in Apache HBase 1.3 and performance enhancements!!!0Mukesh Kumar, Machine Learning Professional and Big Data Exper...

对于数据操作，HBase支持四类主要的数据操作，分别是： Put ：增加一行，修改一行Delete ：删除一行，删除指定列族，删除指定column的多个版本，删除指定column的制定版本等Get ：获取指定行的所有信息，获取指定行和指定列族的所有colunm，获取指定column，获取指定column的几个版本， 获取指定column的指定版本等Scan ：获取所有行，获取指定行键范围的行，获取...

本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush到HDFS形成小文件。开发者盛宴来袭！7月28日51CTO首届开发者大赛决赛带来技术创新分享本篇文章来说道说道如何诊断HBas...

任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。 Full GC问题之前在一些文章里面已经讲过它的来龙去脉，主要的解决方案目前主要有两方面需要注意...

Region的概念Region是HBase数据管理的基本单位。数据的move,数据的balance，数据的split，都是按照region来进行操作的。region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。一个表中可以包含一个或多个Region。每个Region只能被一个RS（RegionServer）提供服务，RS可以同时...

HBase的查询实现只提供两种方式：1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）2、按指定的条件获取一批记录，scan方法（org.apache.Hadoop.Hbase.client.Scan） 实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值得注意：1、scan可以通过setCaching与set...

最近在生产中遇到了一个需求，前台给我多个rowkey的List，要在hbase中查询多个记录（返回给前台list）。在网上也查了很多，不过自己都不太满意，filter的功能有可能查询结果不是准确值，而网上给出的get方法也都是返回一条，scan的话都是返回全部数据，还有用rowkey范围查询的，都跟我的这个应用场景不符啊。无奈，自己找了一个方法，给各位有同样需求的朋友们一个参考。首先创建链接属性：...

 HBase在单Column和多Column情况下批量Put的性能对比分析 作者: 大圆那些事 | 文章可以转载，请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2013/11/28/hbase-batch-put-performance-analysis-of-single-column-and-mul...

什么是Apache HBaseHadoop Database，是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 松散表结构(Schema free) 原生海量数据分布式存储 随机查询、范围查询 高吞吐，低延迟 在线分布式数据库 多版本，增量导入，多维删除  ApsaraDB HBase ...

本文是前几篇文章的小结，介绍如何通过技术手段，挖掘HBase服务的潜力，将分组的服务器数从17台降低到10台。确定优化目标沟通交流后，业务方更看重降低成本。数据量梳理后略有降低，保证吞吐，无长期请求堆积前提下可以放宽延时要求。为了更快的进行优化，放宽稳定性可以要求接受短期波动。另外，该分组的RegionServer之前存在不稳定的问题，这次优化也一并解决。系统资源瓶颈和优化效果...

在云HBase值班的时候，经常会遇见有用户咨询诸如“HBase是否支持连接池？”这样的问题，也有用户因为应用中创建的Connection对象过多，触发了zookeeper的连接数限制，导致客户端连不上的。究其原因，都是因为对HBase客户端的原理不了解造成的。本文简单介绍HBase客户端的Connection对象与socket连接的关系，并给出Connection的正确用法。Connec...

HBase参数配置及说明版本：0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置property>     name>hbase.tmp.dirname>     value

问题导读：1.HBase中Scan主要有哪几种常见用法？2.scan客户端的设计原理是什么？3.怎样从HBase中扫描大量数据进行分析？HBase中Scan从大的层面来看主要有三种常见用法：ScanAPI、TableScanMR以及SnapshotScanMR。三种用法的原理不尽相同，扫描效率也当然相差甚多，最重要的是这几种用法适用于不同的应用场景，业务需要根据自己的使用场景选择合适的扫描方式。接...

阅读数：183  Rowkey是Hbase每一行记录的唯一标识，在设计Rowkey时，不仅要考虑业务需求，也需要考虑Hbase本身的特性。如果Rowkey设计不合理，不仅不能充分发挥Hbase集群并行处理的优势，还会造成数据倾斜、Region热点等影响读写效率的问题。  Rowkey设计原则Rowkey设计一般遵循以下三个原则：1、 唯一性原则Rowkey在设计时必须保持唯一性，如果两条记录Row...

2016-04-21 11:44今天网易视频云技术专家给大家分享一下HBase–RegionServer宕机案件侦查，欢迎参与讨论。本来静谧的晚上，吃着葡萄干看着球赛，何等惬意。可偏偏一条报警短信如闪电一般打破了夜晚的宁静，线上集群一台RS宕了！于是倏地从床上坐起来，看了看监控，瞬间惊呆了：单台机器的读写吞吐量竟然达到了5w ops/sec！RS宕机是因为这么大的写入量造成的？

HBase 在HDFS 上的目录树     总所周知，HBase 是天生就是架设在 HDFS 上，在这个分布式文件系统中，HBase 是怎么去构建自己的目录树的呢？这里只介绍系统级别的目录树。一、0.94-cdh4.2.1版本系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下/hbase/-ROOT-/hbase/.META./hbase

搭建企业级高可用HBase标签： hadoopCDHhbase大数据高可用2016-08-10 17:19 3081人阅读 评论(5) 收藏 举报 分类：大数据（6） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]1 HBase介绍HBase是一个分布式的、面向列的开源数据库，

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。 HBase架构组成

[stack@aa0-000-12 ~]$ ./hadoop-trunk/src/contrib/hbase/bin/hbase org.apache.hadoop.hbase.PerformanceEvaluationUsage: java org.apache.hadoop.hbase.PerformanceEvaluation[--master=hostort] [--miniClu

hbase数据备份或者容灾方案时间 2014-11-11 22:07:14  IT社区推荐资讯原文  http://itindex.net/detail/51698-hbase-数据-备份主题 HBase 数据备份http://hbase.apache.org/book.html#ops.backupHBase的数据备份或者容灾方案有这几种：Distcp

Hbase入门之:原理、基本概念与架构标签： HadoopHbase2015-02-13 11:13 414人阅读 评论(0) 收藏 举报 分类：Hbase（7） 目录(?)[+]概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典

HBase的备份和还原2016-07-06 17:11:01管理员阅读(274)1）HBase热备份的方法 （2）HBase热备的还原 （3）HBase冷备份 （4）HBase冷备的还原一 （1）启动Hbase ./start-hbase.sh（2）创建表 hbase shell create ‘test’,{NAME=>’CF’

问题导读：1.BLOCKSIZE属性在不同场景下应该如何设置？2.COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别是什么？3.Hbase需要注意哪些设计原则？随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、可用性的基

http://hbase.apache.org/book.html#configuration HadoopThe following table summarizes the versions of Hadoop supported with each version of HBase. Based on the version of HBase, you should sele

1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来

HBase最佳实践－CMS GC调优 2016年8月9日  范欣欣HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。从0.94版本提出MemStoreLAB策略、Memstore Chuck Pool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称

单台master的配置hbase.mastermaster:60000这是我们通常配置的，这样就定义了master是的ip和端口。但是当我们需要配置多台master进行，我们只需要提供端口，因为选择真正的master的事情会又zookeeper去处理。多台master的配置                hbase.master.port

网易视频云:HBase —— RegionServer宕机案件侦查网易视频云 2016-04-21 11:45 阅读：92摘要：网易视频云技术分享:HBase RegionServer宕机案件侦查今天网易视频云技术专家给大家分享一下HBase–RegionServer宕机案件侦查，欢迎参与讨论。本来静谧的晚上，吃着葡萄干看着球赛，何等惬意。可偏偏一条报警

HBase最佳实践-用好你的操作系统 2017年5月24日  范欣欣  HBase终于又切回HBase模式了，之前一段时间因为工作的原因了解接触了一段时间大数据生态的很多其他组件（诸如Parquet、Carbondata、Hive、SparkSQL、TPC-DS/TPC-H等），虽然只是走马观花，但也受益良多。对视野、思维模式都有极其重要的作用，至少，扩展了大数据领域的对话圈。这里也斗

2012-02-20 11:33 13411人阅读 评论(3) 收藏 举报 分类：HBase（5）  HDFS（3） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，Hbase写入速