hbase
关注
分享
扫一扫
王树民
大JAVA
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
start-hbase.sh
[wangshumin@centoshostnameKL1 conf]$ ll总用量 56-rw-rw-r--. 1 wangshumin wangshumin 18 1月 23 13:10 backup-masters-rw-r--r--. 1 wangshumin wangshumin 974 1月 23 13:02 core-site.xml-rw-r--r--. 1 wangsh...原创 2018-02-11 09:36:39 · 2105 阅读 · 0 评论 -
hbase依赖zk集群
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)2018-02-11 09:35:15,973 INFO [main-SendThread(centoshostnameKL1:2181)] zookeeper.ClientCnxn: Opening socket connection to serve...转载 2018-02-11 09:57:34 · 892 阅读 · 0 评论 -
hbase启动
drwxr-xr-x. 4 wangshumin wangshumin 4096 2月 10 19:33 bin-rw-r--r--. 1 wangshumin wangshumin 108389 3月 29 2016 CHANGES.txtdrwxr-xr-x. 2 wangshumin wangshumin 4096 2月 10 19:34 confdrwxr-xr-x. ...原创 2018-02-26 17:26:55 · 305 阅读 · 0 评论 -
hbase命令
hbase(main):031:0> helpHBase Shell, version 1.2.1, r8d8a7107dc4ccbf36a92f64675dc60392f85c015, Wed Mar 30 11:19:21 CDT 2016Type 'help "COMMAND"', (e.g. 'help "get"' -- the quotes are necessary) for ...原创 2018-02-12 11:57:03 · 279 阅读 · 0 评论 -
hbase shell删除键不听使唤，删除的是光标后面
hbase shell删除键不听使唤，删除的是光标后面用Xshell登陆linux主机后，在hbase shell下死活不能使用backspace和delete删除误输的指令。摸索了一下，在File->Properties-的>Terminal->Keyboard下，把DELETE/BACKSPACE key sequence选为ASCII 127(Ctrl+?)。这样在hbas...转载 2018-02-26 21:50:01 · 773 阅读 · 0 评论 -
hbase shell
[wangshumin@centoshostnameKL1 bin]$ hbaseUsage: hbase [<options>] <command> [<args>]Options: --config DIR Configuration direction to use. Default: ./conf --hosts HOSTS Overrid...原创 2018-02-26 22:01:54 · 1735 阅读 · 0 评论 -
get
hbase(main):015:0> get 't10', 'row1'COLUMN CELL f10:colum1 timestamp=15196473...原创 2018-02-27 07:48:07 · 430 阅读 · 0 评论 -
HBase Shell工具操作HBase
HBase Shell工具操作HBase原创 2015年11月24日 18:30:30标签：shell /hbase /ruby /安全3285HBase的shell工具是常用的工具，运维过程的DDL和DML都会通过此进行，其具体实现是用Ruby语言编写的，并且使用了JRuby解释器。该工具模式有两种常用的模式：交互模式和命令批处理模式。交互模式用于随机访问，而命令批处理模式通过使用shell编程...转载 2018-02-27 08:46:57 · 488 阅读 · 0 评论 -
Java客户端操作HBase代码
Java客户端操作HBase代码原创 2016年06月17日 16:53:442566package com.cys.zdzn;import java.io.IOException;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfigu...转载 2018-02-27 09:15:01 · 276 阅读 · 0 评论 -
如何通过JAVA客户端访问Hbase
版权声明：本文为博主原创文章，未经博主允许不得转载。直接上代码代码块package com.raiyi.app.dao;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apa...转载 2018-02-27 09:32:52 · 638 阅读 · 0 评论 -
JAVA安全客户端连接到Hbase
JAVA安全客户端连接到Hbase原创 2015年03月13日 13:38:14标签：java /hbase /安全2753Hbase提供多种开发语言的API，通常我们通过JAVA API连接到Hbase只需要在HbaseConfiguration中配置zookeeper的相关信息就可以，配置如下：[java] view plain copyHBaseConfiguration hbaseConf...转载 2018-02-27 11:02:35 · 405 阅读 · 0 评论 -
通过java客户端连接hbase 注意事项
通过java客户端连接hbase 注意事项标签： hbase2016年11月17日 10:43:07 3123人阅读 评论(0) 收藏 举报版权声明：本文为博主原创文章，未经博主允许不得转载。1、通过java客户端连接hbase，其中hbase通过zookeeper去管理，需要注意的是客户端端口。 通过在浏览器端输入地址查看：http://192.168.3.206:60010/mast...转载 2018-02-27 11:03:13 · 1389 阅读 · 0 评论 -
用Java访问带有Kerberos认证的HBase
用Java访问带有Kerberos认证的HBase标签： HBase java2016年07月19日 18:26:41 6475人阅读 评论(0) 收藏 举报 分类：java 基础（48） HBase（26） 开始之前 因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。 ...转载 2018-02-27 14:19:40 · 8522 阅读 · 0 评论 -
HBase性能优化方法总结（4）：读表操作
【转载】HBase性能优化方法总结（4）：读表操作原创 2012年04月17日 17:35:26 标签：hbase /性能优化 /string /exception /parallel /null 6867本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容：读表操作相关的优化...转载 2018-02-27 15:01:55 · 385 阅读 · 0 评论 -
HBase性能优化方法总结（3）：写表操作
【转载】HBase性能优化方法总结（3）：写表操作原创 2012年04月17日 17:34:02标签：hbase /性能优化 /buffer /thread /table /多线程6954本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容：写表操作相关的优化方法。2. 写表操...转载 2018-02-27 15:03:30 · 233 阅读 · 0 评论 -
HBase性能优化方法总结（2）：表的设计
【转载】HBase性能优化方法总结（2）：表的设计原创 2012年04月17日 17:32:22标签：hbase /性能优化 /byte /table /存储 /string5105本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1....转载 2018-02-27 15:04:34 · 265 阅读 · 0 评论 -
HBase性能优化方法总结（1）：配置优化
【转载】HBase性能优化方法总结（1）：配置优化原创 2012年04月17日 16:13:04标签：hbase /性能优化 /优化 /cms /optimization /compression3020配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServ...转载 2018-02-27 15:05:27 · 388 阅读 · 0 评论 -
hbase性能优化大全,很全,很牛
hbase性能优化大全,很全,很牛转载 2014年08月07日 15:37:11标签：hbase /hbase优化1231HBase性能优化方法总结（一）：表的设计本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Cre...转载 2018-02-27 15:07:55 · 519 阅读 · 0 评论 -
Hbase万亿级存储性能优化总结
【HBase调优】Hbase万亿级存储性能优化总结转载 2017年04月08日 12:06:412156【HBase调优】Hbase万亿级存储性能优化总结2017-04-07背景：HBase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，HBase入库也由最初的单机多线程升级...转载 2018-02-27 15:08:52 · 703 阅读 · 0 评论 -
优化hbase的查询提升读写速率优化案例及性能提升的几种方法
优化hbase的查询提升读写速率优化案例及性能提升的几种方法原创 2016年12月13日 23:14:092053在初期，我们采用的逻辑是：将A表中的数据读取一行，根据其中的某个字段去组织一个GET，然后立刻提交，从B表取得要查询的字段的值，组织成一个PUT，并提交到A表。那么这么做的话，1.完全发挥不出hbase的效率的原因是什么？--------------------------------...转载 2018-02-27 15:10:06 · 996 阅读 · 0 评论 -
HBase读性能优化策略
HBase读性能优化策略转载 2017年03月07日 20:45:49标签：hbase /性能优化312任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟...转载 2018-02-27 15:12:19 · 408 阅读 · 0 评论 -
hbase和hive的一些调优心得
hbase和hive的一些调优心得原创 2016年11月20日 16:01:13标签：hive /hbase /性能调优472Hive优化：1、开启limit，防止过多的数据查询造成时延2、开启严格模式，禁止三种模式的查询（查询全部分区而没有where限制、使用order by查询而没有limit限制，表联结使用on以限制笛卡儿积的查询）3、合理的设置map reduce的个数，不能过多或者过少4...转载 2018-02-28 17:24:19 · 412 阅读 · 0 评论 -
Hbase从入门到精通
Hbase从入门到精通课程学习地址：http://www.xuetuwuyou.com/course/188课程出自学途无忧网：http://www.xuetuwuyou.com课程简介面对海量数据的存储及实时查询，传统的RDBMS已经无法满足，基于HDFS之上的HBase应运而生，每个表的数据可以达到数百万列和数十亿条，数据存储在HDFS之上充分利用其存储优势，分布式的架构让其查询数据更加快，绝...转载 2018-03-02 13:15:11 · 451 阅读 · 0 评论 -
apache ab工具页面压力测试返回结果含义解释
apache ab工具页面压力测试返回结果含义解释转载 2018年01月12日 15:33:3815ab是apache自带的一个很好用的压力测试工具，当安装完apache的时候，就可以在bin下面找到ab参数说明及示例我们可以模拟100个并发用户，对一个页面发送1000个请求输入命令：ab -n1000 -c100 https://www.youkuaiyun.com/其中-n代表请求数，-c代表并发数返回结...转载 2018-03-30 09:01:58 · 825 阅读 · 0 评论 -
使用ab进行压力测试和安裝 原理説明
使用ab进行压力测试转载 2017年07月25日 18:05:39107一、ab的原理ab是apachebench命令的缩写。ab的原理：ab命令会创建多个并发访问线程，模拟多个访问者同时对某一URL地址进行访问。它的测试目标是基于URL的，因此，它既可以用来测试apache的负载压力，也可以测试nginx、lighthttp、tomcat、IIS等其它Web服务器的压力。ab命令对发出负载的计算...转载 2018-03-30 09:05:16 · 666 阅读 · 0 评论 -
HBase系统架构
Apache HBase 详细介绍HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运...转载 2018-03-22 10:29:31 · 246 阅读 · 0 评论 -
HBase Region split 策略
HBase Region split 策略2015年08月03日 19:53:24阅读数：1743本文是基于hbase-0.98.6-cdh5.2.0Region split policyHBase的region split策略一共有以下几种：IncreasingToUpperBoundRegionSplitPolicyConstantSizeRegionSplitPolicyDisabledRe...转载 2018-06-03 06:24:15 · 657 阅读 · 0 评论 -
Region Splitting 过程
2015年08月10日 13:54:26阅读数：752官方文档：http://hbase.apache.org/book.html#regionserver_splitting_implementationThe RegionServer decides locally to split the region, and prepares the split. THE SPLIT TRANSACTI...转载 2018-06-03 06:24:56 · 254 阅读 · 0 评论 -
HBase meta表数据修复
2015年07月31日 08:45:06阅读数：2743目的为了弄清楚hbase:meta表中的数据（每个表的region所在的regionserver信息）是否会在集群每次重启后重新生成。过程将hbase:meta表中数据全部删除后重启集群，结果发现只有hbase:namespace的信息会重新生成并插入到hbase:meta表中，而其他所有用户表（用户自己创建的表）的信息都没有恢复。这里又牵扯...转载 2018-06-03 06:26:03 · 2502 阅读 · 0 评论 -
HBase数据压缩方式的选择
2015年07月23日 17:53:59阅读数：2593官方文档：http://hbase.apache.org/book.html#_which_compressor_or_data_block_encoder_to_useThe compression or codec type to use depends on the characteristics of your data. Choos...转载 2018-06-03 06:27:16 · 4643 阅读 · 0 评论 -
HBase创建表参数说明
2015年07月21日 17:45:36阅读数：4979HBase创建表参数创建dimensoft namespace> create_namespace 'dimensoft'1注：这里的namespace类似与RDBMS中的数据库的概念。创建user表> create 'dimensoft:user', 'info'1查看表结构> describe 'dimensoft:us...转载 2018-06-03 06:29:47 · 4135 阅读 · 0 评论 -
HBase表预分区
2015年07月21日 15:09:05阅读数：9671HBase 预分区在创建HBase表的时候默认一张表只有一个region，所有的put操作都会往这一个region中填充数据，当这个一个region过大时就会进行split。如果在创建HBase的时候就进行预分区则会减少当数据量猛增时由于region split带来的资源消耗。HBase表的预分区需要紧密结合业务场景来选择分区的key值，每个...转载 2018-06-03 06:30:19 · 754 阅读 · 0 评论 -
HBase总结（十二）Java API 与HBase交互实例
2014年10月11日 17:37:41阅读数：40928HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要[html] view plain copyimport java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.ha...转载 2018-05-27 16:12:45 · 291 阅读 · 1 评论 -
配置Snappy压缩
2015年07月23日 11:50:39阅读数：97021. 功能说明使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求：首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数。（我使...转载 2018-06-04 08:30:58 · 5012 阅读 · 0 评论 -
HBase之Rowkey设计总结及方舟实战篇
置顶2018年06月02日 21:52:46阅读数：514一、引言HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的数据是按照Rowkey的ASCII字典顺序进行...转载 2018-06-05 08:21:42 · 13734 阅读 · 6 评论 -
Hbase 日常运维监控性能指标调优
Hbase 日常运维2016年07月13日 00:16:34阅读数：22741.1监控Hbase运行状况 1.1.1操作系统 1.1.1.1IO a.群集网络IO，磁盘IO，HDFS IO IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大量压缩操作。 2.正在执行mapreduce作业 可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查...转载 2018-06-05 08:24:42 · 10168 阅读 · 1 评论 -
深入 HBase 架构解析（1）
深入 HBase 架构解析（1）2015/09/24 · IT技术 · 1 评论 · HBase, NoSQL, 架构分享到：原文出处： DLevin（@雪地脚印_） 前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，...转载 2018-05-29 14:54:01 · 191 阅读 · 0 评论 -
HBase架构深入分析（二）
2017年05月30日 16:41:49阅读数：712HBase架构深入分析（二） 通过《HBase机构深入分析（一）》已经知道HBase大致的架构和组件。二，继续深入分析HBase的架构设计。Region的Flush 当MemStore累积足够的数据时，整个排序的数据集被写入位于HDFS中的新的HFile中。HBase的每个列族使用多个HFiles，其中包含实际数据存储单元格(cel...转载 2018-05-29 14:55:04 · 209 阅读 · 0 评论 -
078 Hbase中rowkey设计原则
1.热点问题 在某一时间段，有大量的数据同时对一个region进行操作2.原因 对rowkey的设计不合理 对rowkey的划分不合理3.解决方式 rowkey是hbase的读写唯一标识 最大长度是64KB。4.核心原则 设计必须按照业务需求进行设计5.长度原则 经验：10~100字节可以 官方：16字节，因为操作系统时8字节进行存储6.散列原则 划分region是按照rowke...转载 2018-05-29 16:32:16 · 218 阅读 · 0 评论 -
HBase学习之五:HBase的RowKey设计原则
HBase学习之五:HBase的RowKey设计原则2016年07月12日 22:05:21阅读数：22400HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：...转载 2018-05-29 16:34:14 · 2665 阅读 · 0 评论