
MapReduce
文章平均质量分 66
swjtuzbko
这个作者很懒,什么都没留下…
展开
-
MapReduce原理
简介MapReduce任务过程分为两个处理阶段:map阶段和reduce阶段。每阶段都以键-值对作为输入和输出,其类型由程序员来选择。程序员还需要写两个函数:map函数和reduce函数。数据流Hadoop将作业分成若干个任务(task)来执行,其中包括两类任务:map任务和reduce任务。map阶段数据划分Hadoop将MapReduce的输入数据划分成等长的小数据原创 2018-02-03 11:05:48 · 2694 阅读 · 0 评论 -
MapReduce实验之WordCount
package cn.edu;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.ha原创 2018-02-03 11:25:34 · 431 阅读 · 0 评论