- 博客(19)
- 收藏
- 关注
RSS订阅HDFS中的部分Datanode存在大量没有删除的Block磁盘被占满
数据中心的HBase（cdh3u3）集群已经稳定运行了差不多半年多了。由于前期规划的不合理，最近给所有的数据节点分批重装了一下系统，最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统，发现原来大约占用6T空间的HDFS已经占用了差不多15+T的数据1、先用fsck进行文件系统检查，发现大约占用2T的空间（*3约等于6T，数据重量差不多就是这么多），并没有数据块有过多的备份。2、查看...
2013-01-05 14:45:18
1893
HBase运维-节点故障Server REPORT rejected;
hbase性能测试，加载了一个晚上的数据，早上来时发现一个节点挂掉了，其他一切正常。查看日志，发下如下问题12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop5.site,60020,1325663355680, load=(requests=983, reg...
2012-01-05 10:09:24
679
原创 [转]HBase性能调优
[转]HBase性能调优2011-10-12 7:00因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Z...
2011-12-31 10:52:13
116
原创 修复hbase region hole(region空洞，两个region rowkey不连续)问题流程
原文链接:http://blog.youkuaiyun.com/a221133/article/details/7085257 修复hbase region hole问题流程1，查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失，考虑其他办法， 首先考虑用major_compact对该表进行更新看是否会...
2011-12-30 14:10:48
314
原创 Hadoop源码解读-Http服务器Jetty的使用
Hadoop内嵌了Http服务器Jetty，主要有以下两方面的作用1、Web访问接口，用于展示Hadoop的内部状态2、参与Hadoop集群的运行和管理 以Namenode为例Namenode通过startHttpServer(conf); 来启动HttpServer（Jetty），具体代码如下 httpServer = new HttpSe...
2011-12-29 12:05:54
708
原创 让Hadoop程序轻松使用第三方Jar
from http://hi.baidu.com/adamsi/blog/item/7415adef32fb121ffcfa3cd9.html写过Hadoop程序的人都知道，引用第三方的jar是个麻烦事情。这里我介绍一个方法，可以用ant脚本把自己的代码类和所有的第三方jar都打包到一个jar中，然后就能用hadoop jar xxx.jar来运行整个程序。对应的ant任务描述如下...
2011-11-24 16:18:23
218
原创 redhat yum from iso
Today I picked up Redhat again for the RHCE exam is coming soon.After installing the basic system, meet problem, I need to do some DNS practice. But I don't like install the rpm package from DVD, ...
2011-11-02 16:31:35
128
Suse启动hadoop-chd3u1失败的解决方案
配置一个新的hadoop集群，使用cloudera的介质，全部部署好以后启动发现两台suse的机器无法正常启动，错误信息如下：hadoop5: /home/hadoop/hadoop/hadoop/bin/hadoop: line 402: 14954 Aborted (core dumped) nohup $_JAVA_EXEC -Dproc_$COMMAND...
2011-10-13 11:48:34
159
原创 使hadoop支持Splittable压缩lzo
使hadoop支持Splittable压缩lzo上一篇 / 下一篇 2009-12-31 18:57:20 / 个人分类：hadoop查看( 421 ) / 评论( 2 ) / 评分( 0 / 0 ) 在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoo...
2011-10-13 09:28:43
107
HBase的C客户端编译问题
编写HBase的C语言客户端，通过JNI调用JVM来实现编译过程中出现如下错误gcc -L/home/hadoop/media/jdk1.6.0_14/jre/lib/amd64/server -shared -o "libUdmslogParser" ./bytesUtil.o ./delete.o ./get.o ./hashtable.o ./hbase.o ./hdfs.o ./...
2011-08-10 09:17:16
246
原创 Ubuntu添加硬盘
Ubuntu添加硬盘2011-05-23 17:15Ubuntu下重新挂载一个硬盘：方法如下：1 、我们以Vmware的Ubuntu为例，在虚拟机设置中，添加新的硬件设备，选择Hard Disk。（这里如果不关闭Ubuntu系统就不能增加新的硬件设备） 之后点击下一步，选择硬盘类型，可以选择IDE，或是SCSI，这里选择SCSI,下一步，选择虚拟新硬盘的位置，将之命名为Ubuntu...
2011-07-23 09:45:45
337
原创 iostat命令详解
iostat命令详解 收藏author:skatetime :2009/03/12--------------------------------------------------------------------------------iostat 结果解析[root@20081006-1724 ~]# iostat -xLinux 2....
2011-06-13 16:44:48
107
HBase中Table的Region数不一致的解决方案
最近在给HBase做性能测试（0.89版本），发现了一个异常现象：HBase中实际加载的Region数量要远远大于对应的Table中的Region数量，此时已经无法通过disable关闭对应的表。 一开始系统通过重启HBase来解决这个问题。但是重启以后，发现加载的Region数量仍然远远大于Table中的实际Region数（也远远大于HDFS中对应的目录数量），所以一个是.META.表出...
2011-06-07 14:22:13
573
原创 JVM监控工具介绍jstack, jconsole, jinfo, jmap, jdb, jsta[zz]
JVM监控工具介绍jstack, jconsole, jinfo, jmap, jdb, jstazz from:http://www.517sou.net/Article/JVM-monitoring-tools-jstack-jconsole-jinfo-jmap-jdb-jsta.aspx JVM监控工具介绍jstack -- 如果java程序崩溃生成...
2011-05-25 17:19:32
168
HBase 和 MongoDB在设计上的区别
昨天搜一下mongodb的资料，介绍应用的比较多，原理介绍的不多。粗略得看了一下，总体来说两者的设计思路差不多，主要就是通过划区间去分布数据，后台进程进行数据分裂两者的区别主要在于：1、HBase依赖于HDFS；MongoDB直接存储在本地磁盘中2、HBase按照列族将数据存储在不同的文件中；MongoDB不分列，整个文档都存储在一个（或者说一组）文件中，通过一个有一个通用的....
2011-04-27 10:56:14
368
Nutch Trunk（2.0） 编译
今天下载了Nutch的Trunk版本，调用ant编译的时候无法编译通过[ivy:resolve] ::::::::::::::::::::::::::::::::::::::::::::::[ivy:resolve] :: UNRESOLVED DEPENDENCIES ::[ivy:resolve] :::::::::::::::::::::::...
2011-03-14 23:48:21
135
Ganglia单播模式配置
为了监控Hadoop集群，为集群装了ganglia，一直用的好好的。但是过年回来以后，发现有一台机器的gmond进程死活起不来，检查系统日志，错误如下：udp_recv_channel mcast_join=239.2.11.73 mcast_if=NULL port=8649 bind=239.2.11.73Error creating multicast server mcast_...
2011-03-04 11:11:40
339
原创 SSH无密码登录
1、生成公共密钥ssh-keygen -t rsa一路回车，生成id_rsa.pub2、将id_rsa.pub 拷贝到目标机器scp id_rsa.pub target:/path/id_rsa.pub3、登录目标机器，将id_rsa.pub加入authorized_keyscat id_rsa.pub >> authorized_keys大功告成，****...
2011-02-23 14:59:33
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人