MapReduce练习
关注
分享
扫一扫
文章平均质量分 81
匿名啊啊啊
这个作者很懒，什么都没留下…
展开
-
MapReduce—案例（四）简单数据去重
元数据数据去重源数据：2012-3-1 a2012-3-2 b2012-3-3 c2012-3-4 d2012-3-5 a2012-3-6 b2012-3-7 c2012-3-3 c2012-3-1 b2012-3-2 a2012-3-3 b2012-3-4 d2012-3-5 a2012-3-6 c2012-3-7 d2012-3-3 c最终结果：2012...原创 2018-03-24 13:50:03 · 1078 阅读 · 1 评论 -
MapReduce—案例（三）求平均值
题目：计算学生考试平均成绩 源数据：张三 98李四 96王五 95张三 90李四 92王五 99张三 80李四 90王五 94张三 82李四 92最终答案：张三 98李四 87王五 86上面的答案仅是格式，非正确数据思路：姓名作为key，成绩作为value，在map分组，在reduce中求平均值类似于SQL中的select name, avg(score) ...原创 2018-03-21 23:39:46 · 2165 阅读 · 0 评论 -
MapReduce —案例（一）求最高分，最低分，平均分
表中的原始数据computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85computer,huanglei,99computer,liujialing,85computer,liuyifei,75computer,huangdatou,48computer,huangjiaju,...原创 2018-03-21 22:30:13 · 4644 阅读 · 2 评论 -
MapReduce—案例（二）求出现了相同分数的分数，次数，该分数的人数
表中原始数据：computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85computer,huanglei,99computer,liujialing,85computer,liuyifei,75computer,huangdatou,48computer,huangjiaju,...原创 2018-03-21 23:07:38 · 846 阅读 · 0 评论 -
MapReduce案例——影评分析1（两表联合查询）
多表联合常用方式有两种：reduceJoin和mapjoin，其中reducejoin容易造成数据倾斜，对于并发执行的数据文件来说，常用mapjoin，在mapper阶段就完成数据连接，一般不会造成数据倾斜，即使倾斜，数据量也会很小。使用条件，一张数据量很大的表和一张数据量很小的表，将数据量小的表提前加载到各个节点的内存中去，在执行map阶段，通过内连接完成组合。题：现有如此三份数据：1、use...原创 2018-03-19 20:47:35 · 1404 阅读 · 0 评论 -
MapReduce—案例（七）学生成绩增强版
题目：computer,huangxiaoming,85,86,41,75,93,42,85computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85,75english,liuyifei,85,41,75,21,85,96,14algorithm,liu...原创 2018-03-25 17:04:17 · 2651 阅读 · 0 评论 -
MapReduce—案例（六）求互粉好友对
题目：A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J,KA-B 就是一对互粉好友对标准： 最终的所有结果集中必须包含 一组数据 X-Y 必须有 ...原创 2018-03-25 10:22:49 · 1898 阅读 · 1 评论 -
MapReduce—案例（五）求两两共同好友
题目：A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J,K以上是数据：A:B,C,D,F,E,O表示：B,C,D,E,F,O是A用户的好友。1、求所有两两...原创 2018-03-24 16:40:20 · 884 阅读 · 0 评论 -
MapReduce学习（八）wordcount实现单词计数
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable...原创 2018-04-25 16:00:17 · 353 阅读 · 0 评论