- 博客(4)
- 收藏
- 关注
RSS订阅原创 MapReduce学生成绩分类案例
一、问题描述学校的学生的是一个非常大的生成数据的集体，比如每次考试的成绩，现有一个班级的学生一个月的考试成绩数据。科目 姓名 分数求出每门成绩中属于甲级的学生人数和总人数，乙级的学生人数和总人数，丙级的学生人数和总人数。甲级（90及以上）乙级（80到89）丙级（0到79）处理数据结果：课程\t甲级\t学生1,学生2,…\t总人数二、思路介绍map阶段将课程名和等级拼接为key，...
2019-06-22 17:44:57
1693
2
原创 MapReduce求最大值最小值平均值案例
一、问题描述学校的学生的是一个非常大的生成数据的集体，比如每次考试的成绩。现有一个班级的学生一个月的考试成绩数据。科目 姓名 分数求出每个学生的最高分，平均成绩（整数（不能使用强制类型转换）），最低分。二、思路介绍在map阶段将学生姓名作为key，成绩作为value输出；在reduce阶段进行最大值最小值平均值得求值。三、代码实现1、Map阶段package com.stude...
2019-06-22 17:07:06
5606
原创 MapJoin与ReduceJoin实例
产品表：订单表：需求：通过产品表和订单表得到，数据为（2019 01 小米 1）的表。一、MapJoinMapJoin适合小表+大表的联合。1、Map类直接进行join操作package com.join.mapjoin;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWri...
2019-06-20 23:57:31
471
原创 MapReduce二次排序案例，并且在Reduce输出时进行压缩
MapReduce二次排序案例，并且在Reduce输出时进行压缩一、原始数据二、代码展示1、自定义Bean对象封装数据合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLo...
2019-06-19 23:48:21
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人