疯狂的矩阵

需求 公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务，hive希望可以和pig在高峰期时，平均使用整个集群的计算容量,互不影响。 思路 hadoop的默认调度器是FIFO，但是也有...

需求 公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务，hive希望可以和pig在高峰期时，平均使用整个集群的计算容量,互不影响。 思路 hadoop的默认调度器是FIFO，但是也有...

原文：[url]http://database.51cto.com/art/201410/454277.htm[/url] [b]一、概述[/b] 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因...

mapred找共同朋友，数据格式如下： [quote] A B C D E F B A C D E C A B E D A B E E A B C D F A [/quote] 第一字母表示本人，其他是他的朋友，找出有共同朋友的人，和共同朋友是谁 答案如下： [code="java"] import java.io.IOException; i...

在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题，就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的，具体来说，存在一个抽象类：TaskScheduler，主要负责分配任务，继承该类的有几个类： CapacityTaskScheduler、FairScheduler、JobQueueTask...