MapReduce
关注
分享
扫一扫
XQ_WYL
这个作者很懒，什么都没留下…
展开
-
大数据入门之Hadoop生态系统(7) -- MapReduce概念
1.MapReduce概述MapReduce是面向大数据并行处理的计算模型、框架和平台。2.MapReduce编程模型，通过wordcount词频统计分析举例这里我们通过一张图来进行分析。Input：就是我们输入的文件的中的单词。Splitting：我们按照行来拆分成三个文件，我们有三个作业对三个拆分的文件进行并行处理。Mapping：按照指定的分隔符，把每个输入文件拆...原创 2018-08-20 15:56:43 · 336 阅读 · 0 评论 -
大数据入门之Hadoop生态系统(8) -- MapReduce词频统计Java编程实现
1.前置要求IDEA，JDK1.7+，Maven3.3.9+我们在编程之前，先准备一份hello.txt文件(放在虚拟机Linux系统下)，用来后续的编程测试，内容随便写点就行，单词和单词之间以空格分隔。hadoop welcomehadoop hdfs mapreducehadoop hdfs2.代码编写package com.imooc.hadoop.mapredu...原创 2018-08-20 17:24:48 · 1245 阅读 · 0 评论