hbase
关注
分享
扫一扫
文章平均质量分 64
iteye_3893
这个作者很懒，什么都没留下…
展开
-
Hbase:namespace异常处理
Hbase 集群部署启动后几秒自动退出异常处理，1.hadoop 与 hbase 版本不兼容，会导致此异常。2.log 为 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常，很可能是更换了Hbase的版本过后zookeeper还保留着上一次的Hbase设置，所以造成了冲突。 解决方...原创 2015-06-26 16:11:17 · 432 阅读 · 0 评论 -
hbase实战---来自有道
如下是个人整理的笔记，编辑与有道，后直接分享，没有将内容在贴在iteye编辑器上 part1 : http://note.youdao.com/share/web/file.html?id=f12d9f4641ea9f0caae0803171d87f1a&type=note part2 : http://note.youdao.com/share/...原创 2016-03-23 14:50:08 · 142 阅读 · 0 评论 -
HBase Timeout-OutOfOrderScannerNextException-was there a rpc timeout
0 工作中遇到问题如下： Casuse by: org.apche.hadoop.hbase.exceptions.OutofOrderScannerNextException: Excepted nextCallSeq: 1 but the nextcallseq got from client:0: request=scanner_id: 431 number_of_r...原创 2016-03-28 11:27:52 · 1628 阅读 · 1 评论 -
通过impala查看hfile
工作中有时需要查看hfile， 安装了impla后，直接点击右上角的 File Browser，找到hfile所在的路径即可， 比如 /DATA_CENTER/HFile/表/info/下看到所有hfile文件数据 ...原创 2016-03-28 12:00:32 · 139 阅读 · 0 评论 -
mapreduce数量---- TODO 待整理
http://www.aboutyun.com/thread-6945-1-1.html 待整理 写的很好原创 2016-03-29 14:03:08 · 124 阅读 · 0 评论 -
hbase跑数到solr时数据对不上一些简单总结
工作中，需要将hbase数据跑到solr里做部分字段索引，目前出现过两种情况： 1 假设hbase有100条， 跑到solr里是70条 2 假设hbase有100条，跑完job后mr显示 reduce input输出个数是100，但是在solr界面查询时， 报错，包什么字段 XX not found之类 ，但是看solr对应的索引库的schema.xml根本没...原创 2016-04-07 08:21:08 · 397 阅读 · 0 评论 -
hbase 维护手册 TODO
http://eclecl1314-163-com.iteye.com/blog/1704249原创 2016-04-16 19:55:46 · 161 阅读 · 0 评论 -
hbase shell常用命令和filter
list 查看表 带有正则写法： hbase(main):014:0> list 'zm.*'TABLE zmtest1 ...原创 2016-07-19 15:41:52 · 1875 阅读 · 0 评论 -
hive与hbase集成
原文链接： http://blog.youkuaiyun.com/vah101/article/details/22597341 写的很不错，工作中正好用到，转载了 存储handler在开始介绍之前，首先请阅读StorageHandlers，对存储处理程序的框架有个初步的认识，可以帮助读者理解HBase集成。使用方法这个存储处理程序被编译成一个独立的模块， hiv...原创 2016-11-23 14:19:26 · 352 阅读 · 0 评论 -
hbase之宽表与窄表对split的影响
hbase之宽表与窄表对split的影响 Hbase的hbase.hregion.max.filesize属性值用来指定region分割的阀值， 该值默认为268435456(256MB), 当一个列族文件大小超过该值时，将会分裂成两个region。 hbase的列可以有很多，设计时有两种方式可选择， 宽表（一行有很多列）和窄表如有一个存储用户邮件的表按宽表设...原创 2016-11-28 14:28:35 · 407 阅读 · 0 评论 -
hbase简介 搭建
1 概念和地位： 是Hadoop领域的数据库，(类比于 hive在Hadoop领域文件系统的更高层抽象使用和封装) 高可靠性、高性能、面向列、可伸缩的分布式存储系统，(可伸缩：非常容易增加节点让计算和存储能力得到提升 面向列是hbase的一大特点)利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群HBase利用Hadoop HDFS作为其文件存储...原创 2014-12-21 15:06:35 · 218 阅读 · 0 评论 -
hbase shell操作命令简介
0 hbase本身就是一个数据库，也只有一个数据库，只能在里面创建表， 其语法和MySQL没有任何参考性，可比较性。 1 hbase shell操作： 在hbase/bin 目录下，输入hbase 可以看到hbase所有命令如下：[root@master bin]# pwd/usr/local/hbase/bin[root@mast...原创 2014-12-23 12:12:27 · 274 阅读 · 0 评论 -
hbase java api, NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguratio
1 Java api 操作hbase代码写法如下： package hbase;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org....原创 2014-12-24 10:58:42 · 411 阅读 · 0 评论 -
将hdfs文件保存到hbase中
0.0 wlan.dat文件内容: 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 ...原创 2014-12-24 15:08:39 · 1292 阅读 · 0 评论 -
hbase 集群安装注意事项(hbase:namespace报错处理办法)
1 使用外部的zk集群时，务必保证外部zk集群可用， 用zkServer.sh status查看各zk节点状态 2 务必保证hadoop集群可用 3 如果启动HMaster后jps过会 HMaster自动挂掉的问题， 并且master的log里出现“TableExistsException: hbase:namespace”字样， 很可能是更换了...原创 2015-03-12 17:43:12 · 587 阅读 · 0 评论 -
hbase scan filter以及hbase逻辑存储图和hbase打印数据效果
0.0 看hbase shell命令行下结果: ROW COLUMN+CELL 1 column=base:age, timestamp=1456557395891, value=31 1 column=base:name, timestamp=145...原创 2015-03-13 16:11:43 · 291 阅读 · 0 评论 -
hbase优化简介
关于预分区：http://www.csdn123.com/html/topnews201408/3/2603.htm 建议看看 1. 1.设置合理的memstore大小 数据写入到WAL和memstore中。 memstore中的数据flush到HDFS中。 数据存放在内存中，一般存放在jvm中的新生代、老生代区域。 memstore一般设置大小为12...原创 2015-03-13 16:51:54 · 114 阅读 · 0 评论 -
hbase扩展知识链接 推荐看看
http://itindex.net/detail/50571-hbase-问题 http://blog.youkuaiyun.com/woshiwanxin102213/article/details/17584043 hbase原理 概念 架构 读写 和hdfs区别 http://blog.youkuaiyun.com/wangzhen199009/articl...原创 2015-03-28 17:11:47 · 96 阅读 · 0 评论 -
hbase上构建mapreduce代码 --- TODO
http://www.cnblogs.com/end/archive/2012/12/12/2814819.html 江南贡院原创 2016-03-23 11:40:44 · 90 阅读 · 0 评论 -
hbase 集群多主节点文章 --- TODO
http://www.importnew.com/3020.html 好文 importnew原创 2016-03-23 11:40:01 · 250 阅读 · 0 评论 -
hbase写数据详细流程
参考链接:http://www.aboutyun.com/thread-10885-1-1.html http://www.aboutyun.com/thread-10886-1-1.html http://www.aboutyun.com/thread-10890-1-1.html ...原创 2016-03-08 14:51:47 · 200 阅读 · 0 评论 -
hfile通过bulkload拷贝到hbase方式---TODO待整理
参考链接： http://blog.youkuaiyun.com/heyongluoyao8/article/details/25426481 http://www.ithao123.cn/content-101658.html hbase之 bulkload的主要类 LoadIncrementalHFiles http://www.t...原创 2015-07-23 11:21:07 · 478 阅读 · 0 评论 -
出现ERROR: Can't get master address from ZooKeeper; znode data == null解决办法
导读：出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。ERROR: Can't get master address from ZooKeeper; znode data == nullHere is some ...原创 2015-09-13 09:29:34 · 5103 阅读 · 1 评论 -
[HBase]停止集群报错，pid不存在的问题
[HBase]停止集群报错，pid不存在的问题 停止HBase集群时报错如下： [plain] [root@hadoop3 ~]# stop-hbase.sh stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory 原因是，默认情况下pid文件保存...原创 2015-09-13 16:59:26 · 783 阅读 · 0 评论 -
hadoop查看文件大小(hdfs hive hbase)
可以查看 hdfs hive hbase文件存储大小hadoop fs -count 或者hdfs dfs -count /51JOB [root@chinadaas01 ~]# hadoop fs -count /hbase1/zzjg_detail文件夹数 文件数 这个目录下的文件bytes 查看文件夹下 各个目录的总大...原创 2015-10-28 16:22:14 · 7059 阅读 · 0 评论 -
google big table杂谈
1： tablet分区 ----> 列族 ----> 列 相互关系是啥？？？？？？？2： zk真的负责 hbase数据的位置定位吗 ？？？？？？？找到 master tablet服务器 zk各自的服务分工和相互协调http://blog.youkuaiyun.com/andyxm/article/details/9096935 3： 一个大小为120MB的 s...原创 2016-01-14 14:20:48 · 457 阅读 · 0 评论 -
hbase存储结构图-----客户端读写数据顺序
学习hbase时，hfile和region关系看的头晕晕，下面是逻辑关系图，同时也也可以看hbase简介 搭建 中第五部分的笔记。 Data NodeData Node是指HDFS集群中负责存储数据的服务器，与此相对的是Naming Node，参见:<noscript></noscript> HRegionRegion是表按...原创 2016-01-17 17:51:58 · 951 阅读 · 0 评论 -
hbase wal
参考链接: http://blog.sina.com.cn/s/blog_4a1f59bf010197ct.html原创 2016-02-25 11:15:31 · 184 阅读 · 0 评论 -
学习hbase遇到的好网站
http://www.yiibai.com/hbase/hbase_describe_and_alter.html 里面有各种学习语言的教程： http://www.tuicool.com/articles/iieIz2 HBase简介（很好的梳理资料） - johnny_HITWH !!! http://itind...原创 2016-02-26 08:53:03 · 113 阅读 · 0 评论 -
hbase 通过hbase命令数据导入导出（了解）
常看到hbase数据导入导出有: 1 mr方式 2 bulkbold 3 操作hbase java api put方式 这里说的是通过hbase 命令方式，感觉这个方式没有什么用处，暂且记录下： hbase 数据导出: 数据导出hbase org.apche.hadoop.hbase.mapreduce.Driver export ...原创 2016-02-28 10:21:16 · 1396 阅读 · 1 评论 -
hbase+hive结合使用
1 hbase到hive的使用: 相当于从hive上创建一个外表，快捷引用到hbase表，这么做能利用上hive的sql查询能力，方便查询hbase数据。 a) hbase准备表和数据: create "test","base","cf","data"put "test","key1","base:name","ba原创 2016-02-29 09:00:31 · 327 阅读 · 0 评论 -
hbase协处理器 需要在花时间看 暂时标记下
参考链接: http://www.tuicool.com/articles/VnMBfeN http://blog.youkuaiyun.com/lifuxiangcaohui/article/details/39991183原创 2016-02-29 16:40:21 · 121 阅读 · 0 评论 -
hbase总结
1 hbase行健设计 遵循规则: 唯一 ,有序, 可识别性 ,读写性能的最佳优化这种优化级别从左到右，逐渐递减。 同时，rowkey基本是由多个字段共同构建而成，可以根据业务需求，将这些字段用不同分隔符来间隔比如用 a|b:c 比如电商的这个:产品编码+用途：_ : 多种分隔符 时间戳_userID:djy时间戳_userID:yhj...原创 2016-02-29 18:08:47 · 131 阅读 · 0 评论 -
hbase列族高级配置
0 先看如下desc后的列族属性字段: hbase(main):003:0> describe 'stu'Table stu is ENABLED stu ...原创 2016-03-03 11:28:32 · 308 阅读 · 0 评论 -
hbase root meta结构和存储数据
0 hbase 的 ROOT META两个表介绍: ROOT META两个表是hbase的内置表，从存储结构和操作方法来说，他们和其他hbase表没有区别，区别在于存储的东西不同，用于存储region的分布情况和每个region的详细信息。 1 这两个表的结构如下: 2 root表和meta表和真实region结构如下:...原创 2016-03-03 18:07:57 · 426 阅读 · 0 评论 -
hbase 集群管理
1 查看节点状态链接: 查看hmaster节点: http://hadoop3:60010/ hadoop3是我集群主节点名称 查看hregion节点: http://hadoop3:60030/ 下图可以进入看到存储节点各个属性数据 2 hbase查看 zk状态， 集群状态: 查看zookeeper状态：hbase>...原创 2016-03-06 18:03:50 · 332 阅读 · 0 评论 -
hbase预分区---工作中的用法----region理解-----TODO
一直对hbase region 晕晕的，比如 一个region是不是hbase表行级别的一个横向切分？问题2 一个region是不是也是由三个备份？ 比如机器1,2,3都有对应的region,只是同时只有一个regionserver负责管理和提供这个region的服务？？？ http://so.aboutyun.com/cse/search?s=18335...原创 2016-03-06 21:15:44 · 367 阅读 · 0 评论 -
hbase优化
hdfs的优化: 设置hdfs中data的存储路径为多路径 ----> 对IO进行了分摊，这样IO优化下， 一台主机上有多个挂载点，修改hdfs-site.xml中的dfs.data.dir,设置java垃圾回收时的heap修改hbase-env.sh中的HBASE_HEAPSIZE=8000 单位是 MB 这里设置虚拟内存是8G ，这个设置需要根据集...原创 2016-03-07 15:06:20 · 104 阅读 · 0 评论 -
hbase split三种方式
1 预定义split2 自动split3 手动splitsplit 'forced_table', 'b' //其中forced_table 为要split的table , ‘b’ 为split 点 http://www.csdn123.com/html/topnews201408/3/2603.htm 详情点击看...原创 2015-03-30 22:49:44 · 347 阅读 · 0 评论