
mapreduce
文章平均质量分 66
Deniece_X
这个作者很懒,什么都没留下…
展开
-
MapReduce入门之wordcount
MapReduce入门之wordcount先下流行的大数据,主要需要两个处理方法。1、海量数据的存储,2、海量数据的计算。 其中,使用HDFS完成海量数据的分布式储存,而海量数据的计算交给MapReduce来进行。MapReduce简介1、定义MapReduce是一个使用简单的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠的容错原创 2017-11-04 15:46:52 · 953 阅读 · 0 评论 -
MapReduce入门之多种统计方式wordcount(续)
这次的学习是在MapReduce入门之后的,上次实现了简单的单词统计的计算,是对文件全部的读取划分。本次学习多种读取和划分方式。在读取的时候,单独读取第二个位置的单词进行统计只需要将上次的MyMapper程序进行修改,修改情况如下:import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apac原创 2017-11-04 16:48:32 · 423 阅读 · 0 评论