MR案例 - 求年度最高气温

酒城译痴无心剑

于 2022-12-04 17:02:17 发布

阅读量834

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink 文章标签： mr 年度最高温度

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/128173615

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

该博客介绍了一个使用MapReduce技术解决的年度最高气温计算任务。首先，任务被提出，接着详细阐述了完成任务的步骤，包括数据准备、创建Maven项目、添加依赖、创建映射器、归并器和驱动器类。最后，提供了巩固练习，鼓励读者尝试计算年度平均温度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、提出任务
二、完成任务
三、巩固练习
- 任务：计算年度平均温度

一、提出任务

温度数据文件 - temperature.txt

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

酒城译痴无心剑

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

大数据学习笔记13：MR案例——显示每年最高温度

howard2005的专栏

01-15

1020

文章目录一、预备工作1、启动hadoop服务2、准备数据文件2、将数据文件上传HDFS二、实现步骤1、创建Maven项目GetMaxTemperatures2、修改pom.xml文件，添加hadoop依赖3、在resources目录下创建log4j.properties文件4、第一阶段工作——读取文件中的每行数据（1）编写MaxMapper（2）编写MaxDriver5、第二阶段工作——提取每行数...

怎么hadoop深入学习？

lmseo5hy的博客

11-15

250

随着计算机网络基础设施的完善，社交网络和电商的发展以及物连网的推进，产生了越来越多的大数据，使得人工智能最近几年也有了长足的发展，大数据的存储和处理也越来越重要，国家对此也比较重视，学习大数据和人工智能的人也越来越多，Hadoop是目前世界上最流行的分布式数据处理框架，是大数据学习必学的框架知识。初学Hadoop，最基础的也就是HDFS和Mapreduce了，HDFS是一个分布式存储文件系统，...

参与评论您还未登录，请先登录后发表或查看评论

Hadoop学习笔记（一）之示例程序：计算每年的最高温度MaxTemperature

diaoqi5743的博客

12-07

681

　　本《hadoop学习笔记》系列是在《hadoop: the definitive guide 3th》的基础上通过网上额外搜集资料和查看hadoop的API再加上自己的实践方面的理解编写而成的，主要针对hadoop的特性和功能学习以及Hadoop生态圈中的其他工具（如Pig，Hive，Hbase，Avro等等）。另外设计到hadoop编程方面的请查阅另一个笔记系列：《Hadoop编程...

mapreduce编程（二）－大象书中求每一年的最高温度

和大黄的博客

09-17

5711

书上的例子是为了取出一年当中气温最高的值，那么将年份和气温做了一个复合的key. 1 通过设置了partitioner来进行分区。因为分区是按照年份来进行，所以同年的数据就可以分区到一个reducer中。 2 自定义key比较器，按照年份升序，温度值降序。这样map输出的所

Pig实例:使用Pig latin来求年最高气温(测试NCDC天气数据)

江南浙里的专栏

02-07

1212

如何使用Pig latin来求年最高气温？

MapReduce 获取全年的最高气温

star5610的博客

05-13

1040

气温数据： 1997-07-01 10 1998-04-01 26 1997-05-01 -5 1989-06-01 25 1925-05-01 45 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.

怎么学习hadoop？

lmseo5hy的博客

03-07

1375

hadoop主要学什么？

lmseo5hy的博客

11-13

481

Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，可对数据系统进行分布式储存读取；MapReduce是一个计算框架，通过对计算任务的拆分，再根据任务调度器，对任务进行分布式计算。 Hadoop是大数据开发必不可少的框架技术，因此，想要学好大数据，必须要掌握Hadoop相关知识，那么，hadoop主...

hadoop主要学什么？hadoop学习总结

lmseo5hy的博客

03-13

1114

Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，可对数据系统进行分布式储存读取；MapReduce是一个计算框架，通过对计算任务的拆分，再根据任务调度器，对任务进行分布式计算。Hadoop是大数据开发必不可少的框架技术，因此，想要学好大数据，必须要掌握Hadoop相关知识，那么，hadoop主要学...

MapReduce案例——求每年最高气温

zzf135的博客

04-23

3142

MapReduce的逻辑数据流第一步、需要一个 map函数： import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; //hadoop 本身提供了一套可优化网络序列化传输的基本类型，而不直接使用java内嵌的类型 import org.apache.hadoop.mapre

Hadoop大数据实训，求最高温度最低温度实验报告

05-04

(1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、最低气温，并按最高气温降序排序。如果最高气温相同，则按最低气温升序排序。 (3)使用自定义数据类型。 (4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。

MR 案例分析：求每个月温度最高的两天

NeboFeng的博客

10-28

748

最近看到一个mr的例子，感觉有些收获这里分享一下需求：求每个月温度最高的两天，日期格式为：1949-10-01 14:21:02 34c 思路一： mr job 将key 封装为 year-month的格式传递给 reduce， reduce 中遍历每个key 的值，取出温度，进行比较。遍历完成之后输出思路二：利用key的排序，实现自定义分组。根据，yea...

MR程序在集群上运行的两种方式

有上进心的阿龙

12-22

602

编写MR程序在集群上运行。输入输出路径不要写死，作为参数传进来。方式一、打jar包把这个包放到桌面上去把jar包放到这个linux目录上启动集群准备测试数据，放在集群上：

hadoop MR 二次排序

weixin_43548589的博客

11-11

474

二次排序例如这样一组气温数据年份温度 2006 -20 2006 21 2007 55 2007 16 2007 33 经过reduce处理年份会自动排序但是如果要对年份和气温分别排序那就需要二次排序了例如年份升序对气温降序 2006 21 2006 -20 2007 55 2007 33 2007 16 1.自定义combokey（组合key）类因为在reduce中只对key排...

2018年第25周-Hadoop的MR程序-天气数据分析

weixin_33804990的博客

06-24

441

天气数据通过ftp从ftp.ncdc.noaa.gov地址获取/pub/data/noaa/目录下的天气数据，我写了个ftp抓取程序去抓取，如1950的天气数据摘录如下： 0171999999939931950010100005+36000-094167SAO +038399999V02015859001550042749N00800...

Hadoop入门（十五）Mapreduce的数据排序程序

茅坤宝骏氹的博客

10-13

803

"数据排序"是许多实际任务执行时要完成的第一项工作，比如学生成绩评比、数据建立索引等。这个实例和数据去重类似，都是先对原始数据进行初步处理，为进一步的数据操作打好基础 1 实例描述对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据。样例输入如下所示： 1）file1 ...

案例2-mapreduce统计每年中每个月气温排行

抱愚守拙，持之以恒；不问结果，相信过程.

09-22

2323

如图所示我们要计算每年中每个月气温倒序排行，在这个例子中我们输入文件中的年份只有3个，所以例子中的reduceTask个数是3个。如果不确定年份的个数，就不能使用年份维度作为reduceTask个数。首先，上传weather文件到/usr/input下：执行任务：分别查看/usr/output/weather下的三个文件内容： 1949年： 1950年： 19...

统计全球每年的最高/最低气温

BIPT919的博客

05-16

5091

文章目录数据准备1.下载数据2.处理数据一、统计全球每年的最高气温和最低气温1.YearMaxTAndMinT2.Mapper:MaxTAndMinTMapper3.Combiner:MaxTAndMinTCombiner4.Reducer:MaxTAndMinTReducer5.运行代码:MaxTAndMinT.java6.输出结果二、筛选气温在15~25°C之间的数据1.MTAMTMapper类2.MTAMTReducer类3.MTAMT类4.输出结果总结数据准备先启动hadoop，然后打开ecl

hadoop统计全球每年的最高气温和最低气温

weixin_46034600的博客

12-11

5403

1、课程设计题目及要求（1）从ftp://ftp.ncdc.noaa.gov/pub/data/gsod下载2014到2018年的天气数据，然后对数据进行清洗，仅保留日期和当天的气温，数据文件保存为temperature.txt；（2）根据temperature.txt，统计全球每年的最高气温和最低气温；要求：按每年每月统计最高和最低气温；按每年每月统计平均气温，并按年月由近到远排序；按年月筛选15-25度之间的气温数据，并按2014到2016年分别存储到3个文件中。（3）需要提交纸质作业报告，以及程