
mapreduce
文章平均质量分 64
~天天天蓝~
这个作者很懒,什么都没留下…
展开
-
【Hadoop学习】——mapreduce中的Job提交流程及切片流程 **源码分析**
1、首先从waitForCompletion函数进入boolean result = job.waitForCompletion(true);/** * Submit the job to the cluster and wait for it to finish. * @param verbose print the progress to the user * @return true if the job succeeded * @throws IOException th原创 2021-04-07 12:38:20 · 318 阅读 · 0 评论 -
【hadoop学习】——MapReduce的WordCount案例代码简析
一、Map阶段部分:获取文本中的所有单词,作为key,每个key对应的value为1,输出格式为<key,1>.具体步骤:获取输入文本的每一行数据由Text类型转为String类型,将其以空格或逗号为分隔符切割为一个个单词放入String类型数组中,再将该数组中元素转为Text类型循环写出,每一个输出的key对应的value值为1.【注意】:①每一行数据都要调用一次map方法;②将要输出的String类型的数据转Text类型时,将new Text()得到的outK放在map方法外面作为原创 2021-04-06 16:35:47 · 329 阅读 · 0 评论