HDFS+HBASE
关注
分享
扫一扫
文章平均质量分 88
iteye_19837
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Region Server意外退出
集群突然nagios报出一台regionserver挂了。顿时忙碌起来。 上去一看，从log中看到这样一条信息 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired 之后， regionserver就理直气壮地退出了。 于是查了下代码，看到了在org.apache.hadoo...原创 2012-03-25 16:58:44 · 582 阅读 · 0 评论 -
HADOOP升级
1：运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份 2：备份dfs.namenode.dir下文件 3：停止所有节点 bin/stop-all.sh 4：在所有节点上重新部署hadoop 并替换conf文件夹下所有文件（就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解...原创 2012-06-19 10:04:40 · 397 阅读 · 0 评论 -
转HBASE日常维护
一，基本命令： 建表：create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如：create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10',...原创 2012-10-24 10:29:05 · 355 阅读 · 0 评论 -
hbase集群维护总结
hbase集群维护总结 1、集群故障现象以及解决方法 故障现象 解决方法 “hbase shell”命令无法显示list以及meta丢失 查看集群hbase的regionserver日志；一般重启hbase ...原创 2012-05-02 09:38:07 · 286 阅读 · 0 评论 -
关于集群突然断电的解决方法
今天在测试的时候，数据正在入库。突然断电了。 重启动以后，启动./start-dfs.sh以后，查看日志，会报出 2012-04-13 15:39:43,208 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 8020, call rollEditLog() from 196.1.2.160:34939: error: or...原创 2012-04-13 15:54:17 · 777 阅读 · 0 评论 -
hadoop fsck命令详解
hadoop fsck Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path> 检查这个目录中的文件是否完整 -move 破损的文件移至/...原创 2012-04-13 15:50:04 · 355 阅读 · 0 评论 -
hadoop shell命令
Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setr...原创 2012-04-12 16:39:16 · 132 阅读 · 0 评论 -
HBase 默认配置
HBase 默认配置 该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml (因翻译需要，被译者修改成中文注释). hbase.rootdir 这 个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的 '/hbase'目录，n...原创 2012-04-05 11:40:38 · 793 阅读 · 0 评论 -
编译Hadoop的append分支源码 .
Hadoop version HBase version Compatible? 0.20.2 release 0.90.2 NO 0.20-append 0.90.2 YES 0.21.0 release 0.90.2 NO 0.22.x (in development) 0.90.2 NO 从上图可以看出，HBase0.90.2与Hadoop的...原创 2012-03-30 16:39:07 · 158 阅读 · 0 评论 -
Hbase完全分布式安装配置手册
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduc...原创 2012-03-30 16:37:19 · 334 阅读 · 0 评论 -
HBase性能调优
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zo...原创 2012-03-28 11:15:50 · 129 阅读 · 0 评论 -
hbase添加大文件
一直使用hbase作大容量存储，因为hbase易于存取。 今天，在录入数据的时候，突然报出一个KeyValue size too large。很是奇怪。 后来发现，该数据特别大，经查源码 private void validatePut(final Put put) throws IllegalArgumentException{ if (put.isEmpty()) { ...2012-03-25 23:15:46 · 438 阅读 · 0 评论 -
在hbase上存储文件以及下载
因为hbase的存储只支持文本。但当我们需要要一些文件类型上传到hbase上的时候，如果使用文件流，将它转成文本类型，上传下载是没有问题，可是这样一来，新生成的文件与原始文件的里的格式（如DOC里的图片）这样的东西就不存在了，这样的话，就没有什么意义了。 因此，上传到hbase的时候，可以通过将文件流转换成BASE64的编码，这样，上传下载仍是原文件。但是要注意的是，该文件的格式，如果格式不统一...2012-06-27 10:17:07 · 1097 阅读 · 1 评论