DaSen的博客

  通过Hadoop streaming写Mapreduce程序时，会遇到同时处理多个输入文件或者目录的的需求， 而如何在map程序中获取相关文件路径？ 可以在map端获取环境变量mapreduce_map_input_file，即为本次的输入文件。 （这里首先需要注意的是要在maper中获取文件的输入路径而不是在reducer中，其次在老的版本中变量名为map_input_file） ...

首先注意的是在Hadoop Streaming 中可以通过-D mapred.map.tasks=（你想要设定的map数量） 来确定map任务的个数， goal_num = mapred.map.tasks 但是这里需要注意的是，只有在这个值大于hadoop中计算的默认个数default_num的时候才会有效，默认个数的计算方式如下： default_num = total_size / b...