HBase
关注
分享
扫一扫
iteye_15136
这个作者很懒，什么都没留下…
展开
-
升级hadoop0.20.2到hadoop-0.21.0
按照新的文档来 更新配置: http://hadoop.apache.org/common/docs/current/cluster_setup.html 发现多了很多东西,新的文档也比以前的详细,好的多. 不过此次只为了升级hadoop0.20.2到hadoop-0.21.0 看看发布的版本:http://hadoop.apache.org/common/rele...2010-09-05 11:52:20 · 522 阅读 · 0 评论 -
HRegionServer: ZooKeeper session expired
Hbase不稳定，分析日志发现，归纳总结，目前发现共存在两个问题，一个就是上篇博客提到的问题，还有个问题就是zookeeper的问题 我的异常输出为：2010-10-28 00:36:49,573 WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x9d2be33dbe860005 to sun.nio.c...2010-11-01 14:21:51 · 251 阅读 · 0 评论 -
Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting… java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOu...2010-04-29 14:26:39 · 1790 阅读 · 1 评论 -
在windows平台下Eclipse调试Hadoop/Nutch
即让碰到这个问题说明 准备工作都做好了，软件包，环境什么的这里都不说了 安装jdk与环境变量配置安装cygwin 安装和启动ssd服务安装后，配置环境变量，将cygwin的bin目录配置到path中内存溢出导致job失败解决方案：Eclipse -> Window -> Preferences -> Java -> Installed JR...2010-04-29 14:34:13 · 90 阅读 · 0 评论 -
hadoop主节点（NameNode）备份策略以及恢复方法
一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到f...2010-11-11 19:35:00 · 509 阅读 · 0 评论 -
hadoop-hdfs启动又自动退出的问题
hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊！日志如下：2010-05-19 12:47:44,991 INFO http.HttpServer - Version Jetty/5.1.42010-05-19 12:47:44,999 INFO util.Credential - Checking Resource aliases2010-05-19 12:4...2010-05-20 10:45:00 · 391 阅读 · 0 评论 -
Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)
做个中文版下载源： http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接： http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html h...原创 2010-11-28 16:30:21 · 1649 阅读 · 0 评论 -
HBase简介（很好的梳理资料）
一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become A...2011-01-30 10:18:57 · 197 阅读 · 0 评论 -
HBase如何存取多个版本的值
HBase如何存取多个版本的值？ 废话少说，一般情况下使用Put的这个方法保存一个版本： /** * Add the specified column and value to this Put operation. * @param family family name * @param qualifier column qualifier ...2011-03-07 16:11:05 · 802 阅读 · 0 评论 -
HBase如何迁移数据
HBase如何迁移数据？这里有个方案：http://blog.mozilla.com/data/2011/02/04/migrating-hbase-in-the-trenches/，我还未验证，因为我碰到了更加棘手的问题，我的两个集群在两个局域网，没法通信。（不过可以有一台机双网卡连接两个集群）。 先了解下 /app/cloud/hadoop/bin/hadoop distcp sr...2011-03-10 13:42:51 · 235 阅读 · 0 评论 -
HBase迁移数据方案1（两个集群不能通信）
前一篇文章里面介绍了 两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。 但是如果两个集群在不同的网络，没法通信呢？ 今天测试了一个方案： 把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下 1、拷贝集群1的表文件到本地磁盘 :/app/cloud/hadoop/bin/hadoop fs -copyToLocal /hb...2011-03-30 18:23:31 · 203 阅读 · 0 评论 -
Bad connect ack with firstBadLink
hbase报的错误，经过分析是Hadoop不能写入数据了。可恶的是hbase会丢失该阶段put的的数据。 DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLinkDFSClient: Abandoning block blk_DFS...原创 2010-10-25 13:20:44 · 397 阅读 · 0 评论 -
cygwin 添加用户
http://hi.baidu.com/skychen1900/blog/item/980a62f049818eaca40f52c4.html 上面博客中说了： cygwin的安全管理，根据windows的特点有很大的改 变，可以使用mkpasswd -l > /etc/passwd把windows的用户导入到cygwin下。在安装cygwin的过程中，安装程序会自动执行...2010-04-13 17:48:40 · 1174 阅读 · 0 评论 -
nutch总体输入输出流程图解析
附件里面有word文档，请下载查看。2010-04-12 16:58:45 · 187 阅读 · 0 评论 -
java.io.IOException: Incomplete HDFS URI, no host
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI, no host: hdfs://data_181.uc:9000 着实郁闷到了，原来在Hadoop中，主机名不要包含下划线“_”，但可以有横线“-”。Incomplete HDFS URI...原创 2010-09-07 08:31:52 · 11185 阅读 · 0 评论 -
hbase0.20.支持多个主节点容灾切换功能（只激活当前某个节点，其他节点备份）...
http://wiki.apache.org/hadoop/Hbase/MultipleMasters 发现Hbase支持多个主节点的，万一某个主节点挂了，还可以切换到备用节点上。 据说hadoop-0.21支持备份主节点，万一主节点挂了的话，还是可以切换的。 不过本人稍微尝试了下hbase的主节点切换功能，不太好使。并且还没有支持hadoop-0.21.0版本的hbase...原创 2010-09-09 14:53:07 · 245 阅读 · 0 评论 -
在eclipse里跑nutch RunNutchInEclipse1.0
http://wiki.apache.org/nutch/RunNutchInEclipse1.02010-03-10 14:21:10 · 115 阅读 · 0 评论 -
hadoop快速入门，初步感受分布式文件系统
很抱歉，本篇文章有误，今（20100225）天已经修正。（请注意官方中文文档已经落后了，请尽量看英文文档） 一、准备工作：Hadoop分布式文件系统，架构和设计 ：http://hadoop.apache.org/common/docs/r0.20.2/cn/hdfs_design.htmlHadoop快速入门：http://hadoop.apache.org/common/d...2010-03-23 17:55:37 · 109 阅读 · 0 评论 -
Hadoop put 报异常“could only be replicated to 0 nodes, instead of 1”
$ bin/hadoop fs -put /home/lighttpd/hadoop-0.20.2/hadoop-0.20.2-tools.jar e.jar WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /use...2010-03-25 13:18:16 · 283 阅读 · 0 评论 -
hadoop搭建进阶，多台机器分布式搭建
阅读此篇文章之前，请阅读上一篇：http://jiajun.iteye.com/blog/622475 Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。在本文中，详细介绍了如何部署 Hadoop 分布式运行环境。一、前言...2010-03-25 14:59:52 · 216 阅读 · 0 评论 -
解析Nutch插件系统
nutch系统架构的一个亮点就是插件，借鉴这个架构我们可以设计出自己的灵活的系统架构，下面就来解析Nutch的插件系统是怎么回事。 关于nutch，在这里了解：http://lucene.apache.org/nutch/，目前最新版本是1.0： 23 March 2009 - Apache Nutch 1.0 Released Nutch is open...2010-03-31 16:31:48 · 158 阅读 · 0 评论 -
HBase配置LZO压缩
系统： gentooHDFS: hadoop:hadoop-0.20.2-cdh3u0HBase: HBase:0.90.3 安装过程： 1、安装lzoemerge dev-libs/lzo2.1 下载download from: wget http://www.apache.org/dist//hbase/hbase-0.90.3/hbase...2011-07-10 22:40:45 · 223 阅读 · 0 评论 -
nutch分布式搭建
如何在eclipse中跑nutch：http://jiajun.iteye.com/blog/612023 这里没有翻译，不过应该能看懂 那么如何分布式搭建nutch1.0呢？ 如果进行到这篇文章，就很容易了：hadoop搭建进阶，多台机器分布式搭建：http://jiajun.iteye.com/blog/624559 具体如何做呢，参看：How to Set...2010-04-06 17:54:09 · 173 阅读 · 0 评论 -
解析hadoop框架下的Map-Reduce job的输出格式的实现
Hadoop 其实并非一个单纯用于存储的分布式文件系统，而是一个被设计用来在由普通硬件设备组成的大型集群上执行分布式应用的框架。 Hadoop 包含两个部分：一个分布式文件系统 HDFS (Hadoop Distributed File System)，和一个Map-Reduce实现。 研究hadoop，从nutch入手是比较好的选择，分布式文件系统就不说了，下面说说...2010-04-10 18:34:11 · 160 阅读 · 0 评论 -
HBase RegionServer 退出 ( ZooKeeper session expired)
RegionServer 由于 ZooKeeper session expired 而退出，头疼了很久，总结可能的原因： 1、网络不好2、GC时间过长，程序暂停导致租约过期3、CPU忙，维护zookeeper的线程不能及时得到执行机会（调度） 解决方案：RS配置zookeeper.session.timeout时间长点，我配置的180000RS配置hbase....2011-04-23 08:32:06 · 909 阅读 · 0 评论