综合讨论
关注
分享
扫一扫
文章平均质量分 76
adsitbbs
做中国云计算导航人！！
做传媒业云平台领路人！！！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop节点热删除（动态删除）
今天在hadoop集群环境下需要将两台datanode删除，为了不影响在运行业务，需对节点进行动态删除，记录操作过程如下：1， 从集群中移走节点，需要对移走节点的数据进行备份：在主节点的core-site.xml配置文件中添加如下内容： dfs.hosts.ex原创 2011-07-26 19:23:39 · 1429 阅读 · 0 评论 -
hadoop版本问题
通过yum方式动态添加新的datanode，启动从机器datanode时，会报如下错误：hadoopFATALorg.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible build versions:namenode原创 2011-07-27 09:57:02 · 490 阅读 · 0 评论 -
hive 三种启动方式及用途，关注通过jdbc连接的启动
1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似 2， hive web界面的启动方式，hive –serv原创 2011-08-31 16:16:04 · 1157 阅读 · 0 评论 -
hbase 根据需求创建组合索引（组合rowkey）及组合索引创建规则
hbase据我目前的了解来看 《查询》方面的最大优势是根据rowkey 进行查询，然后结合map/reduce 运算效率非常高，但是如果牵扯到表关联查询，涉及到列簇中的列时，因为没有索引效率就变的非常低下，所以我这采用了组合索引（组合rowkey）方式来解决这个问题，下面采用简单原创 2011-08-10 09:38:28 · 3889 阅读 · 2 评论 -
Could not append.Requesting close of hlog
上几天跑程序，hadoop集群报了如下错误：2011-08-05 11:57:03,067 DEBUG org.apache.hadoop.hbase.regionserver.HRegion:Started memstore flush forwb_userinfo,sin原创 2011-08-10 09:37:45 · 603 阅读 · 0 评论 -
ClientCnxn: Session 0x0 for server null, unexpected error Connection refused
坑爹的异常！这个异常碰到过多次每次有可能会是不同的地方出现问题导致，现在总结出来该异常的总体解决方向为：是zookeeper访问regionserver时候抛出的，一般是hbase-site.xml中的dns设置有问题，或者dns本身有问题，症状就为regionserver一原创 2011-08-12 10:19:05 · 2697 阅读 · 1 评论 -
java.io.IOException: Could not obtain block: blk
连续两个晚上跑数据出现这个异常，具体内容如下：2011-08-10 05:51:21,823 ERRORorg.apache.hadoop.hbase.regionserver.CompactSplitThread: Compaction/Splitfailed for原创 2011-08-12 10:18:23 · 7203 阅读 · 0 评论 -
在windows xp系统下配置eclipse集成hadoop开发
一、目的：由于hadoop只能在Linux环境下运行，所以对于在windwos系统下使用IDE工作的开发人员来说，调试是件麻烦的工作，所以我们今天要配置的Hadoop开发环境是在Windows XP系统下，并集成eclipse使开发人员在做hadoop开发时更容易调试。二原创 2011-08-31 09:50:16 · 659 阅读 · 0 评论