大数据学习笔记13：MR案例——显示每年最高温度

最新推荐文章于 2022-05-16 12:18:34 发布
最新推荐文章于 2022-05-16 12:18:34 发布
阅读量1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/103987758
这篇博客详细记录了如何使用Hadoop MapReduce解决显示每年最高温度的问题，包括启动Hadoop服务、创建Maven项目、配置依赖、编写Mapper和Reducer，以及实现按键降序输出。博主逐步解释了每个阶段的工作内容，最终成功获取每年最高温度并展示了运行结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在这里插入图片描述
在这里插入图片描述

一、预备工作

1、启动hadoop服务

[root@tiger ~]# start-dfs.sh
[root@tiger ~]# start-yarn.sh

在这里插入图片描述

2、准备数据文件

在这里插入图片描述

2329999919500515070000
了解本专栏 订阅专栏 解锁全文 超级会员免费看
MR案例 - 求年度最高气温
howard2005的专栏
12-04 835
求年度最高温度
大数据学习笔记14：MR案例——招聘数据分析
howard2005的专栏
01-15 1198
文章目录一、数据文件1、下载数据文件2、json文件行结构二、数据清洗与分析任务三、实现步骤1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目JobAnalysis4、修改pom.xml文件，添加依赖5、 创建log4j.properties文件6、第一阶段——读取文件每行数据（1）编写JobMapper（2）编写MaxDriver（3）查看结果文件7、第二阶段——清洗错误数...
MR 案例分析： 求每个月温度最高的两天
NeboFeng的博客
10-28 751
最近看到一个mr的例子，感觉有些收获这里分享一下 需求： 求每个月温度最高的两天，日期格式为：1949-10-01 14:21:02 34c 思路一： mr job 将key 封装为 year-month的格式 传递给 reduce， reduce 中遍历每个key 的值，取出温度，进行比较。 遍历完成之后输出 思路二： 利用key的排序， 实现自定义分组 。根据 ，yea...
Hadoop大数据实训，求最高温度最低温度实验报告
05-04
(1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、最低气温，并按最高气温降序排序。如果最高气温相同，则按最低气温升序排序。 (3)使用自定义数据类型。 (4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。
mr统计每年中每月温度的前三名
weixin_30535565的博客
09-09 192
weatherMapper package com.laoxiao.mr.weather; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import org.apache.hado...
Hadoop实训求最高温度和最低温度的数据集
05-04
(1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、最低气温，并按最高气温降序排序。如果最高气温相同，则按最低气温升序排序。 (3)使用自定义数据类型。 (4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。
大数据学习笔记10：MR案例——词频统计
howard2005的专栏
01-08 1687
文章目录一、词频统计设计思路1、映射阶段（Map）2、归并阶段（Reduce）（1）不用合并器（Combiner）（2）采用合并器（Combiner）二、词频统计实现步骤1、创建Maven项目WordCount 词频统计是MapReduce的入门案例，类似于学习程序设计的“Hello World”案例。 一、词频统计设计思路 1、映射阶段（Map） 2、归并阶段（Reduce） （1）不用合并器...
大数据学习笔记23：MR案例——采用Combiner做词频统计
howard2005的专栏
01-20 909
文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目WordCount4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建WordCountMapper2、创建WordCountReducer3、创建WordCountDriver4、运行WordCountDriver，查看结果5、创建WordCou...
大数据学习笔记21：MR案例——分区全排序
howard2005的专栏
01-19 833
文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目PartitionSort4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建SortPartitioner（1）分区思路：通过数字范围来判断（2）分区思路：判断对应字符串长度（3）分区思路：利用正则表达式2、创建SortMapper3、创建Sor...
Hadoop应用开发大作业.docx
03-09
统计全球每年的最高气温和最低气温；要求：按每年每月统计最高和最低气温；按每年每月统计平均气温，并按年月由近到远排序；按年月筛选15-25度之间的气温数据，并按2014到2016年分别存储到3个文件中。 完整结课报告
案例2-mapreduce统计每年中每个月气温排行
抱愚守拙，持之以恒；不问结果，相信过程.
09-22 2327
如图所示我们要计算每年中每个月气温倒序排行，在这个例子中我们输入文件中的年份只有3个，所以例子中的reduceTask个数是3个。如果不确定年份的个数，就不能使用年份维度作为reduceTask个数。 首先，上传weather文件到/usr/input下： 执行任务： 分别查看/usr/output/weather下的三个文件内容： 1949年： 1950年： 19...
大数据热门技术Spark+机器学习+贝叶斯算法第1季
02-18
本套教程版权归张老师本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程，历经5年沉淀，调研企业上百家，通过上万学员汇总，保留较为完整的知识体系的同时，让每个模块看起来小而精，碎而不散。在本课程中基于大量案例实战，深度剖析和讲解Spark2.4原理和新特性，且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。通过理论和实际的紧密结合，可以使学员对大数据Spark技术栈有充分的认识和理解，在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识；并且通过对流处理原理的学习和与批处理架构的对比，可以对大数据处理架构有更全面的了解，为日后成长为架构师打下基础。本套教程可以让学员熟练掌握Spark技术栈，提升自己的职场竞争力，实现更好的升职或者跳槽，或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师，或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈，提升自己的价值。本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季，本套为第1季。
大数据开发平台Hadoop-MapReduce实训 统计全球每年的最高气温和最低气温
sone_pzk的博客
12-18 9729
标题统计全球每年的最高气温和最低气温 **数据资源来源：ftp://ftp.ncdc.noaa.gov/pub/data/gsod/ 1 实训目标 （1） 掌握 Combiner 的使用。 （2） 掌握自定义数据类型。 2 实训环境 （1） 使用 1.7版本的 JDK 。 （2） 使用带有三个节点的集群，主节点为 master ，子节点为 slave1 ， slav...
大数据技术原理与应用之可视化实训
热门推荐
小刘的博客
02-20 1万+
目录 第一部分 实训题目与要求 1 问题提出 1.1实训任务1 1.2实训任务2 2功能要求 2.1实训任务1 2.2实训任务2 第二部分 设计实训题目功能 1 总体设计 1.1实训任务1 1.2实训任务2 2主要函数设计 2.1实训任务1 2.2实训任务2 3 问题与改进 第三部分 实训效果 一、实训任务1 二、实训任务2 第四部分 实训总结 1 结束语 附录A 程序清单 参考文献 《大数据技术原理与应用》实训报告 ...
Hadoop入门（十五）Mapreduce的数据排序程序
茅坤宝骏氹的博客
10-13 804
"数据排序"是许多实际任务执行时要完成的第一项工作，比如学生成绩评比、数据建立索引等。这个实例和数据去重类似，都是先对原始数据进行初步处理，为进一步的数据操作打好基础 1 实例描述 对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据。 样例输入如下所示： 1）file1 ...
hadoop编程(4)-MapReduce案例：求每一年的最高温度
小9的专栏
10-22 3016
本文以最简洁的方式还原《Hadoop权威指南》一书中第一个MapReduce程序，便于后续继续深入了解MapReduce的能力。
统计全球每年的最高/最低气温
BIPT919的博客
05-16 5093
文章目录数据准备1.下载数据2.处理数据一、统计全球每年的最高气温和最低气温1.YearMaxTAndMinT2.Mapper:MaxTAndMinTMapper3.Combiner:MaxTAndMinTCombiner4.Reducer:MaxTAndMinTReducer5.运行代码:MaxTAndMinT.java6.输出结果二、筛选气温在15~25°C之间的数据1.MTAMTMapper类2.MTAMTReducer类3.MTAMT类4.输出结果总结 数据准备 先启动hadoop，然后打开ecl
MapReduce案例——求每年最高气温
zzf135的博客
04-23 3145
MapReduce的逻辑数据流 第一步、需要一个 map函数： import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; //hadoop 本身提供了一套可优化网络序列化传输的基本类型，而不直接使用java内嵌的类型 import org.apache.hadoop.mapre
大数据学习笔记18：MR案例——分区汇总流量
howard2005的专栏
01-19 642
文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目CalculateFlow4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建FlowBean2、创建FlowMapper3、创建FlowReducer4、创建FlowDriver5、运行FlowDriver，查看结果6、程序存在的BUG7、创建自...
基于物联网技术的智能节水灌溉系统
最新发布
12-28
以下是几个较为知名的品牌及其代表性作品可供大家参考借鉴学习模仿创新改进升级换代推陈出新与时俱进适应时代潮流引领行业发展风向标树立标杆典范榜样模范案例示范效应带动辐射扩散蔓延开来形成燎原之势席卷全国乃至...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值