
hbase
Mr-zhou
本人从事hadoop方向工作希望和大家多有交流的机会和有志在此方向有所成绩的战友共同学习
展开
-
xceiverCount 258 exceeds the limit of concurrent xcievers 256
看到这个错误,我们就首先应该想到hadoop 的配置参数dfs.datanode.max.xceivers 那这个错误到底是什么错误呢? 这个错误是指hadoop上同时运行的线程数不能超过256 也就是dfs.datanode.max.xceivers 的默认值,当使用hbase的时候,这个值很容易就达到了,因为datanode 在写操作时,到文件块的每个打开的连接都会使用一个线程。 所以原创 2013-03-04 10:08:03 · 2292 阅读 · 0 评论 -
MapReduce 中如何处理HBase中的数据?如何读取HBase数据给Map?如何将结果存储到HBase中?
说明:原出处我已经找不到了,请见谅 MapReduce 中如何处理HBase中的数据?如何读取HBase数据给Map?如何将结果存储到HBase中? Mapper类:包括一个内部类(Context)和四个方法(setup,map,cleanup,run); setup,cleanup用于管理Mapper生命周期中的资源。setup -> map -> cleanu转载 2013-03-01 10:05:54 · 2187 阅读 · 0 评论 -
hadoop hbase 升级
Hadoop HDFS 与Hbase升级笔记 由于之前使用了hadoop1.0.2,hbase 使用的是hbase-0.92.1 但是一次事故导致元数据丢失,且修复元数据的类本身有BUG 所以摆在眼前的只有两条路: 1、修改hbase源码重新编译 hbase 修复BUG 2、升级到下一个版本,且这个版本已经修复了此BUG 从release node中看到 0.92.2及以后版本均修复了原创 2013-03-01 15:52:32 · 3357 阅读 · 0 评论 -
hbase操作以及维护
转自:http://www.itinit.net/thread-1322-1-1.html 一,基本命令: 建表:create 'table','t1','t2' 也可以建表时加coulmn的属性如:create 'table',{NAME => 't1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS转载 2013-04-18 11:34:17 · 1847 阅读 · 0 评论 -
hbase bug
转自:http://blog.youkuaiyun.com/chenyi8888/article/details/8646659 因为对Hbase了解不多,以下碰到的问题都是很基础问题: 1、运行MR程序时出现: 13/03/07 14:04:58 INFO mapred.JobClient: Task Id : attempt_201303031058_0325_m_000008_0, S转载 2013-05-08 16:01:18 · 2921 阅读 · 2 评论 -
hbase 学习笔记一---基本概念
说在前面,本文部分内容来源于社区官网经过适度翻译,部分根据经验总结,部分是抄袭网络博文,(不一一列举引用,在此致歉)一并列在一起,本文的目的,希望能总结出一些有用的,应该注意到的东西,基本思路是先提出一个话题,在此话题内,把相关联的东西加进去,而不是单独分出章节单独介绍,虽然条理性欠差,但有利于后期根据关键词查找。 Apache HBase 是Hadoop database的简称,h原创 2013-10-12 16:08:26 · 17735 阅读 · 2 评论 -
hbase 学习笔记二----shell
Hbase 是一个分布式的、面向列的开源数据库,其实现是建立在google 的bigTable 理论之上,并基于hadoop HDFS文件系统。 Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库,且Hbase是基于列的数据库。 下面的内容基于我们已经安装好hadoop、hbase。 一、hbase shell 介绍 h原创 2013-10-12 16:59:35 · 22568 阅读 · 0 评论