业务需要，经常需要将hbase中多个表中的记录数删掉，于是写了一个小工具。直接上代码啦：DeleteHbaseDataMain.javaimport java.io.IOException;import java.util.Iterator;import java.util.Map;import java.util.TreeMap;import java.util.concur

http://bbs.hadoopor.com/thread-71-1-1.html

在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。[1]在Hadoop生态圈中，有一种相对比较新 的组件叫做Oozie[2]，它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。本文中，我们会向你介绍 Oozie以及使用它的一些方式。什么是Oozie？Oozie是一种Java Web应用程序，它运行在Ja

最近一直在搞批量生成HFile格式的代码，使用了好多方法，具体如下：方法一、KeyValue生成，代码大致如下：KeyValue kev = new KeyValue(Bytes.toBytes(row.toString()), Bytes .toBytes("info"), Bytes.toBytes(tableField), Bytes.toB

一般情况下，hadoop集群备份机制采用默认的3份保存，如下图： hadoop集群filecopysizespacesample1.dat3100M3*100Msample2.dat3200M3*200Msample3.dat3150M3*150Msample4.

之前在集群上安装了hbase的一个版本，后来因该版本不稳定，切换为另一版本，这时候就需要清理zookeeper的记录了，具体方法如下：1.切换到zookeeper的bin目录；2.执行$sh zkCli.sh[hadoop@host hadoop]$ cd zookeeper-3.4.5/bin[hadoop@host bin]$ ./zkCli.sh Connecting to

一、    控制hive任务中的map数:1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.    举例：a)    假设input目录下有1个文

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。步骤为hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;Adde

1 Hama介绍    Apache Hama是一个纯BSP（Bulk Synchronous Parallel）计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。BSP概念由Valiant（2010图灵奖获得者）在1990年提出，具体参看wikipedia。Google在2009年发表了论文，在分布式条件下实现了BSP模型。2 Hama安装

hadoop archive归并文档使用及测试。archive用法：[hadoop@hadoop9 jars]$ hadoop archive --helparchive -archiveName NAME -p * archive归并文件的时候会启动一个M/R Job任务来执行，如下：[hadoop@hadoop9 jars]$ hadoop archi

2012-05-08 15:29:02,927 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_-3688559193353374185_253276java.io.EOFExceptionat java.io.DataInputStream.readF

MultipleOutputs可以轻易的将输出数据输出为多个。案例一：writing to additional outputs other than the job default output.案例二：to write data to different files provided by user举例： * Usage pattern for job subm

HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么

一说到大数据，就不得不提Hadoop；一提到Hadoop，就必要关注Map/Reduce。众所周知，作为一个使用简易的软件框架，基于Map/Reduce的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理TB级别以上的数据集。讲述Map/Reduce的框架构成和逻辑工作原理的文章已经很多，这些博文都不错（可以在雅虎开源社区搜索下），但是这些文章尽管解释了技术层面，但

导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器

1 Storm概览         如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoop为我们提供了map, reduce原语，使我们的批处理程序变得非常地简单和优美。同样，storm也为实时计算提供了一些简单优美的原语

1.hadoop集群的mapreduce监控：2.storm监控：3.hama监控：

不知不觉，搞hbase也有一段时间了，期间有痛苦，也有欢乐，不管过程有多么艰难与漫长，但结果还是可喜的。现总结一下hbase在使用过程中的一些经验和看法：1.源码在学习的过程中，要敢于碰 源码。虽然不一定所有的源码都要看，但是也要针对自己要解决的问题，查找源代码，其实大牛们写的代码是比较费劲，但是只要静下心来看，还是有很大收获的。另外，不要全部相信源码，有时候源码中会有很多bug，

HBase索引过程的实现确实是一个头两个大，一直在研究这方面的资料，苦不堪言呐！不过经过一系列的测试和分析，得出一个结论：自己创建索引！理由有二：一、ITHBase、IHBase等等三方项目创建索引，基本思路就是创建一个额外的索引表，然后建立同步机制。这样问题来了：      1.冗余比较大。我做过ITHBase的实验，基本是原表的每行数据在索引表中都创建一条，如下：

前端专家——远星本人出场技术大拿——东杰