Hadoop实战之温度排序

最新推荐文章于 2019-11-23 21:13:57 发布

原创

最新推荐文章于 2019-11-23 21:13:57 发布 · 897 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #hadoop

博客内容讲述了如何使用Hadoop MapReduce处理北京市2010年1月至5月的温度记录，通过按月份升序和温度降序排序，找出每月最热的五天，并将结果分别存储在单独的文件中。

说明：输入文件为北京市2010年1月份到5月份每天每间隔3小时的温度记录，数据格式为yyyyMMddHHmm temp，如下截图

（图中温度为华氏温度）

需求：求出每个月份温度最高的5天

解决思路：1、以月份+温度为key进行排序，月份升序，温度降序

2、每个月份单独生成一个文件，读取每个文件前5条记录，即为每个月份温度最高的5天

程序如下

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

import org.apache.hadoop.conf.Conf

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

super_ozman

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hadoop温度排序

易水寒

09-12

1659

计算1949-1955年，每年温度最高的时间思路分析 ①Mapper，按照年份升序排序，同时每年的温度降序 ②Reduce，按照年份分组，每年对应一个reduce任务 Hadoop中如何自定义排序，自定义分区，自定义分组。 --需求： 1.计算在1949-1955年，每年温度最高的时间 2.计算在1949-1955年，每年温度最高前十天

HDInsight-Hadoop实战（二）传感器数据分析

每一天都有新的希望

12-15

4777

HDInsight-Hadoop实战（二）传感器数据分析简介现在很多个人和商业设备含有从物理世界中收集信息的传感器。例如，大多数电话拥有 GPS，健身设备可跟踪你走的步数，恒温控制器可监控建筑的温度。在此教程中，你将了解如何将 HDInsight 用于处理暖气、通风和空气调节 (HVAC) 系统产生的历史数据，以识别不能有效维持设定温度的系统。你将了解如何：

参与评论您还未登录，请先登录后发表或查看评论

Hadoop案例之年份温度排序

liushahe2012的博客

12-17

2790

Hadoop案例之年份温度排序 1. 输入输入文件内容： 1949-10-01 14:21:02 34C 1949-10-02 14:21:12 36C 1950-02-02 11:21:12 32C 1950-05-02 11:31:12 37C 1951-12-02 11:31:12 23C 1950-12-02 11:31:12 47C 1950-12-02 11

hadoop - hadoop2.6 分布式 - 简单实例学习 - 统计某年的最高温度和按年份将温度从高到底排序

原小明

01-29

2734

1.背景哎，学习hadoop不容易啊，各种bug，摸不着头脑，时而管用，时而不知道namenode怎么停止了，确实郁闷！还好，坚持下去了！好了，不说了，开始简单示例： 1.1 数据格式：日期 -空格 - 时间- tab键-温度 1949-10-01 14:23:01 34°C 1949-05-23 21:23:01 16°C 1950-11-21

Hadoop的MapReduce作业实现筛选天气案例——代码实现

qq_43687990的博客

11-23

1547

1，要处理的数据,也是要测试的数据：tq.txt 1949-10-01 14:21:02 34c 1949-10-01 19:21:02 38c 1949-10-02 14:01:02 36c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c 1951-12-01 12:21:02 23c 1950-10-02 12:21:02 41c 1950-10...

hadoop之最大气温

蚂蚁先锋队的博客

09-10

540

hadoop权威指南第8章第2小结介绍了通过MR求最大气温的例子。我做了简单修改后代码如下：输入 1995 10 1996 10 1995 5 1999 20 1999 10 1996 3 期望输出： 1995 10 1996 10 1999 20 //自定义类InitPair public class InitPair implements Writabl

Hadoop大数据实训，求最高温度最低温度实验报告

05-04

在本实验"MapReduce编程训练（三）"中，我们主要关注的是利用Hadoop MapReduce框架处理大数据，特别是针对全球气温记录的统计分析。实验的主要目标是实现以下几个关键知识点： 1. **自定义数据类型（Custom Data ...

大数据Hadoop实战：8个案例解析与MapReduce编程指南

文档的每一个案例都围绕Hadoop的核心组件MapReduce展开，通过实战演练，使读者掌握如何在大数据环境下进行数据清洗、处理和分析。同时，它也强调了在实际项目中的数据管理和数据质量控制。通过这些案例，读者可以...

12-18

Hadoop入门数据分析实战部分主要涉及MapReduce编程模型，这是Hadoop的核心，用于处理和生成大规模数据集。MapReduce分为两个主要阶段：Map阶段和Reduce阶段。Map阶段，数据被分割成多个小块并分发到各个节点，每个...

Hadoop分析气象温度数据

热门推荐

叶小刀

07-14

1万+

首先下载气象数据，然后解压数据集，并保存在文本文件中：下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/noaa我们下载国内的气象数据，使用下面命令进行下载wget -D --accept-regex=REGEX -P data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/5* 国内气象站ID区间50001-59998...

Hadoop应用开发大作业.docx

03-09

统计全球每年的最高气温和最低气温；要求：按每年每月统计最高和最低气温；按每年每月统计平均气温，并按年月由近到远排序；按年月筛选15-25度之间的气温数据，并按2014到2016年分别存储到3个文件中。完整结课报告

「 Hadoop」mapreduce对温度数据进行自定义排序、分组、分区等

知之可否

03-14

3939

转自 http://www.ptbird.cn/mapreduce-tempreture.html 一、需求说明 1、数据文件说明 hdfs中有一些存储温度的数据文件，以文本形式存储，示例如下：日期和时间中间是空格，为整体，表示检测站点监测的时间，后面是检测的温度，中间通过制表符 \t 相隔。 2、需求计算在1949-1955年中,

Hadoop—MapReduce计算气象温度等例子---练习

yyy

07-19

7358

1 运行环境说明 1.1 硬软件环境 l 主机操作系统：Windows 64 bit，双核4线程，主频2.2G，6G内存 l 虚拟软件：VMware® Workstation 9.0.0 build-812388 l 虚拟机操作系统：CentOS 64位，单核，1G内存 l JDK：1.7.0_55 64 bit l Hadoop：1.1.2 1.2 机器网络环境集

hadoop自定义排序、分组、分区（温度统计）

wzq6578702的专栏

04-18

852

需求：数据格式如下：1950-10-02 12:21:02 41℃ 。。。。。。。。。。。。。。。。。。。。。。。。要求： 1、计算1949-1955年，每年温度最高的时间 2、计算1949-1955年，每年温度最高前十天的温度思路： 1、按照年份升序排序，同时每一年温度降序排序。 2、按照年份分组，每一年对应一个reduce任务。目的：自定义排序、自定义分组、自定义分区

MapReduce原理与设计思想

漫漫求学中的孩儿

12-05

3043

简单解释 MapReduce 算法一个有趣的例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？ MapReduce方法则是：给在座的所有玩家中分配这摞牌让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你你把所有玩家告诉你的数字加起来，得到最后的结论拆分 MapReduce合并了两种经典函数：映射（M

用mapreduce 处理气象数据集

weixin_34297704的博客

05-09

228

编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况稍有变通）解压数据集，并保存在文本文件中对气象数据格式进行解析编写map函数，reduce函数将其权限作出相应修改...

MapReduce编程： 3. 航班数据按月份升序，星期降序排列

叶小东的博客

03-18

2318

MapReduce编程：3. 航班数据按月份升序，星期降序排列

hadoop实战之排序Sort源码

薛定谔的哈士奇博客

06-04

557

Sort：package com.test.sorted; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io...

2011版Hadoop实战详解

《Hadoop in Action 2011》是由Chuck Lam所著的一本实战指南，专为读者提供了深入了解Hadoop这一大数据处理框架的深入见解。这本书是英文原版，以PDF格式呈现，包含了完整的教程和案例分析，旨在帮助读者掌握Hadoop...