jokes000的专栏

情况：在进行高级的数据处理时，你会发现你的程序不能放在一个的MapReduce job之中了。Hadoop支持将多个MapReduce Job串成一条链来形成一个更大的MapReduce Job。同时你会发现Hadoop数据处理过程中通常包括多个数据源，我们将探索一些join技术同时处理多个数据源。1.将具有复杂依赖关系的多个MapReduce Job串联起来。情况：有三个Job,分别成为

转自：http://blog.youkuaiyun.com/houqingdong2012/article/details/8633802碰到的问题：        在master以hadoop用户执行：start-all.sh        jps查看master节点启动情况： NameNode

转自：http://www.yimiju.com/articles/411.html因为Ubuntu Server不像桌面版Ubuntu那样，可以非常简单的通过图形操作界面配置网卡IP。所以Yimiju再此讲解下手动修改网卡IP的两种方法：第一种方法：常规方法1、登录Ubuntu Server，然后通过“sudo -s” 切换到root用户。2、输入“cd

转自：http://blog.youkuaiyun.com/shenshouer/article/details/7360262按照http://hadoop.apache.org/common/docs/stable/single_node_setup.html上描述做单击为分布式测试时抛异常：root@ubuntu:~/sse/hadoop/hadoop-1.0.1# bin/

转自：http://lykke.iteye.com/blog/1405838I post the solution here to help any ‘Hadoopers’ that have the same problem. This issue had been asked a lot on Hadoop mailing list but no answer was give

转载：http://xiaoxia001.iteye.com/blog/1279354用三台centos操作系统的机器搭建了一个hadoop的分布式集群。启动服务后失败，查看datanode的日志，提示错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatib

转自：http://hi.baidu.com/brianzhao/item/5e5c24ce7755523545941672光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存n

《Hadoop in Action》第四章习题：0.MaxValue:要求输出cite75_99.txt中最大的CITED值：要点：    1.Mapper只输出它所处理的数据中的最大值。（重写cleanup()函数）    2.设置Reducer数目为一个 -D mapred.reduce.tasks=1，同时也只输出所处理的最大值。（重写cleanup()函数）    3.

众所周知，Hadoop框架使用Mapper将数据处理成一个键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。    在上述过程中，我们看到至少两个性能瓶颈：如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不仅可以减轻网

/*************************************************** * MapReduce Basic Template * Author: jokes000 * Date: 2011-12-14 * Version: 1.0.0 **************************************************/public

转载自：http://hi.baidu.com/lingsuch/blog/item/c374fdecda19e82127979198.html非常感谢此文对我提供的帮助。自己乱搞，出了点问题，弄来弄去，总算弄OK了主要就是版本的问题我的开发环境是：Ubuntu，如果安装的版本低，系统更新下1.安装eclipse版本是eclips

有时候你可能想要用不同的方法从input data中读取数据。那么你就需要创建一个自己的InputFormat类。    InputFormat是一个只有两个函数的接口。public interface InputFormat { InputSplit[] getSplits(JobConf job, int numSplits) throws IOException;

在Hadoop Map/Reduce框架下，当Mapper处理好数据后，需要使用Partitioner确定怎样合理地将Mapper输出分配到Reducer之中。    默认的情况下，Hadoop对键值对中的key取hash值来确定怎样分配给相应的Reducer。Hadoop使用HashParitioner class来执行这一操作。但是有时候HashPartitioner并不能完成它的功能。

MapReduce使用OutputFormat类将数据输出存入文件中，其基本与InputFormat类似。输出没有分块，每个Reducer将它的输出直接写到自己的文件中。输出文件存在于一个共有目录当中，一般被命名为part-nnnnn，nnnnn是Reducer的分区ID。　　Hadoop提供数种标准的OutputFormat的实现，如表中所示。几乎所有我们使用的类都继承自FileOu

概念：reduce-side join技术是灵活的，但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始，我们将会在网络中传递shuffle所有数据，而在大多数情况下，我们会在join阶段丢掉大多数传递的数据。因此我们期望能够在map阶段完成整个join操作。主要技术难点：在map阶段完成join的主要困难就是mapper可能需要与一个它自己不能获得的数据进行j

在看《Hadoop in Action》时发现代码使用的是旧的API，且部分API已经标记为Deprecated。所以自己尝试着写了一个使用新API的例子来完成该代码的功能。数据格式如下："CITING","CITED"3858241,9562033858241,13242343858241,33984063858241,3557384...程序的目的是将所

新增的Java MapReduce APIHadoop的版本0.20.0包含有一个新的 Java MapReduce API，有时也称为"上下文对象"(context object)，旨在使API在今后更容易扩展。新的API 在类型上不兼容先前的API，所以，需要重写以前的应用程序才能使新的API发挥作用。新增的API 和旧的API 之间，有下面几个明显的区别。新的API

概念：Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的data join技术，我们称其为reduce-side join。（因为我们在reducer上作大多数的工作）reduce-side join引入了一些术语及概念：            1.Dat

第一步：安装Ubuntu下有两种安装方式：1. 使用官网教程，下载ganglia包进行编译。http://sourceforge.net/apps/trac/ganglia/wiki/Ganglia%203.1.x%20Installation%20and%20Configuration2. 使用apt-get安装。        命令：sudo apt-get install g