hadoop 程序在运行时 reduce过程卡在某个进度不动的问题

今天写好hadoop 程序之后，进行线上测试，驶入数据为一个hive表的文件，location到了一个hdfs目录下，然后跑hadoop的过程中，map阶段没有出现问题，但是每次到了reduce阶段，进度都卡在33%不动了，刚开始以为是集群问题，后来重新启动了几次任务，都是这种情况。

可能的情况1：

后来在stackoverflow上找到了答案，这是hadoop上数据倾斜造成的问题（我的hive表使用了orde by，所以是按照字段排序，如果将字段作为marpeduce的key，那么某一台机器上的reduce大部分都是同一个key，这违背了mapreduce并发的思想，造成其他reduce一直等的情况），所以卡死。具体数据倾斜解释请看~（数据倾斜解释），解决办法：在生成hive表的时候取消order by命令。但是并没有用，照样在33%卡死。

可能的情况2：

我增加了redece的个数，job.setNumReduceTasks(1000);跑通了。