Hadoop分析NCDC气象数据

使用Hadoop处理NCDC气象历史数据
最新推荐文章于 2023-02-03 21:00:11 发布
原创 最新推荐文章于 2023-02-03 21:00:11 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何利用Hadoop对美国国家气候数据中心（NCDC）的气象历史数据进行处理。首先，通过`zcat`命令解压缩gz文件并将内容合并到1993.txt中。接着，使用Hadoop的`bin/hadoop fs -put`命令将1993.txt上传到HDFS的/input/feixu目录下，为后续的数据分析做好准备。
气象数据准备：
1. 下载1993年到2003年每年的部分气象数据
ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/
2. 下载的文件格式是*.gz，用zcat命令将其解压并上传到hdfs 
zcat *.gz>1993.txt
bin/hadoop fs -put 1993.txt /feixu/input
3. 查看hdfs上的气象数据，总大小约1.2G
Hadoop分析NCDC气象数据 - spring8743 - 我的博客
 
MapReduce代码：
最低0.47元/天 解锁文章
spring8743
关注
使用Hadoop分析气象数据完整版（附带完整代码）
sky的博客
06-05 6万+
《分布式》布置了一道小作业，让我花了7天时间学习了Hadoop。。。现在终于可以正式地做这个作业了，记录一下。 使用Hadoop分析气象数据1 获取数据1.1 下载数据1.2 数据格式1.3 合并数据2 MapReduce处理数据2.2 环境配置，启动集群2.1 上传到HDFS2.2 编写MapReduce代码 1 获取数据 1.1 下载数据 注意：为了不出现横向拖拉，命令里我加了换行，所有命令都是如此。 获取命令： wget -D --accept-regex=REGEX -P data -r -.
hadoop 气象数据分析
孙小宝的杂货铺
09-16 3866
学习hadoop几天了，配置了三天终端，运行了几个例子。现在自己写一个程序，根据气象数据，计算当年的最高气温。 模拟美国气象局发布的数据。数据格式为：0000001010195005+00001+99999999（其中第一个红色数字为年份，第二个数字为气温）。以1950为键，00001为值。 模拟数据为： 0000001010195005+00001+99999999 0000001010
Hadoop气象数据
11-08
Hadoop气象数据Hadoop气象数据Hadoop气象数据Hadoop气象数据Hadoop气象数据
hadoop气象数据
04-27
资源分不能设置为0，抱歉了，大家可以留言邮箱我发你，如果会员请下载下提供2分，git免费地址在下: https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all
使用Hadoop分析气象数据（附代码）
记录分享编程与冲浪知识
02-03 3639
刚学了Hadoop，在网上找完整的分析使用过程进行练手观看。本文数据和方法均来自于大佬的（侵删）
基于Hadoop的NCDC气象数据分析权威指南
是围绕美国国家气候数据中心（NCDC，现为NCEI，即国家环境信息中心）提供的气象历史数据，如何在Hadoop生态系统中进行高效存储、处理与分析的权威实践指南。该指南不仅涵盖了大数据技术栈中核心组件的应用，还深入...
hadoop权威指南 - ncdc 气象数据 - 1901 - 1942 年的数据
07-17
hadoop权威指南里全文贯穿案例提到的气象数据, 直接从附录提到的网站下载非常慢. 这里分享出来, 便于大家测试. 由于限制文件大小, 所以上传了1901-1942 年的数据, 对于测试学习足够了. 如果觉得少, 多复制几次, 将...
美国ncdc官网气象数据集1901至1942年数据
07-03
在这个项目中，Hadoop可以用来分布式存储这些气象数据，并通过MapReduce模型进行并行处理，实现高效的数据分析。 2. **Dataset**：在这里，"dataset"指的是数据集，即本文所提的气象数据。这些数据可以被转化为...
hadoop处理气象数据
nuisthou的博客
11-07 3435
关于hadoop处理气象数据，这里给出几篇比较好的文章： http://www.cnblogs.com/shishanyuan/archive/2014/12/22/4177908.html； http://blog.163.com/lzm07@126/blog/static/25705468201331702456829/；
Hadoop分析气象数据完整版代码
06-05
《分布式》布置了一道小作业，这是作业的所有代码，里面包含了Hadoop的MapReduce代码、和SSM框架显示数据的代码，有缺失私我，，，1积分吧哈哈。
java操作hadoop之mapreduce分析年气象数据最低温度实战源码
02-03
java操作hadoop之mapreduce分析年气象数据最低温度实战源码，附带所需jar包，欢迎学习。
hadoop权威指南---气象数据1901-1930年
06-21
hadoop权威指南里面提到的美国气象局数据，是在太多了，而且限制只能传60M，所以共享前30年，学习学习，一个积分意思一下。具体怎么获取的详见：http://blog.youkuaiyun.com/u010469490/article/details/73549197
NCDC气象数据的提取与处理（二）范例数据
01-03
为方便大家学习使用“NCDC气象数据的提取与处理（二）”，提供此范例数据，包括一个完整应用案例所需要的原始数据，代码，以及输出结果。
Hadoop权威指南 NCDC 天气数据样本下载
Guoracle
05-23 8067
我在看《Hadoop权威指南》时，里
基于hadoop的气象数据可视化分析
毕业作品网站
09-09 1万+
本文摘要：论文基于Hadoop生态系统开发了一个气象数据分析与可视化系统。系统采用前后端分离架构，前端使用Swing实现用户界面，后端基于Hadoop 2.7.2、HBase 1.1.3、Hive 1.2.1等技术构建大数据处理平台。主要功能包括：用户注册登录、气象数据上传、定时数据更新、历史数据查询、气象趋势分析等。系统实现了从数据采集、存储、处理到可视化展示的完整流程，通过折线图、地图等可视化形式直观呈现气象数据。论文详细阐述了系统架构设计、开发环境搭建、核心模块实现及功能测试结果，为气象大数据分析提供
Hadoop使用MapReduce求ncdc气象数据中的最低温度
一只快乐的小蒟蒻~
11-12 4132
一、下载、解压、合并与上传数据 在进行数据处理前首先需要获得所需要的数据，首先下载数据 cd /home/hadoop mkdir temp #创建文件夹用于存放数据 cd temp sudo wget ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2016/gsod_2016.tar sudo wget ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2017/gsod_2017.tar 解压2016与2017年的数据包 tar -xvf gso
ncdc气象数据格式介绍
热门推荐
静心
07-31 2万+
简介   ISD-Lite 数据data contain a fixed-width formatted subset of thecomplete Integrated Surface Data (ISD) for a select number of observationalelements. The data aretypically stored in a single f
Hadoop学习之NCDC天气数据获取
weixin_30786657的博客
09-06 610
期望目的 下载《Hadoop权威教程》里用到的NCDC天气数据，供后续在此数据基础上跑mapred程序。 操作过程 步骤一、编写简单的shell脚本，下载数据文件到本地文件系统 已知NCDC天气数据父目录地址为ftp://ftp.ncdc.noaa.gov/pub/data/noaa/，编写如下脚本下载1901年到1950年的天气数据： #!/bin/sh uri=ftp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值