Hadoop分析NCDC气象数据

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.6k累计阅读 1.6k平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄19年

关注

VIP免费原创最新推荐文章于 2026-06-12 15:10:21 发布 1.6k 阅读 AI 写同款· GEO 优化 ›

使用Hadoop分析气象数据完整版（附带完整代码）《分布式》布置了一道小作业，让我花了7天时间学习了Hadoop。。。现在终于可以正式地做这个作业了，记录一下。使用Hadoop分析气象数据1 获取数据1.1 下载数据1.2 数据格式1.3 合并数据2 MapReduce处理数据2.2 环境配置，启动集群2.1 上传到HDFS2.2 编写MapReduce代码 1 获取数据 1.1 下载数据注意：为了不出现横向拖拉，命令里我加了换行，所有命令都是如此。获取命令： wget -D --accept-regex=REGEX -P data -r -. 阅读详情

气象数据准备：

1. 下载1993年到2003年每年的部分气象数据

ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/

2. 下载的文件格式是*.gz，用zcat命令将其解压并上传到hdfs

zcat *.gz>1993.txt

bin/hadoop fs -put 1993.txt /feixu/input

3. 查看hdfs上的气象数据，总大小约1.2G

MapReduce代码：

最低0.47元/天解锁文章

收录于

当前文章被以下社区和专栏收录：

MapReduce分析NCDC 年气象数据最低温度与最高温度利用hadoop计算技术对采集的气象数据信息进行处理，主要分两个阶段：mapper阶段和reducer阶段，mapper阶段主要是对日志文件进行按行读取并进行字符串截取，reducer阶段对mapper阶段传过来的数据进行大小比较，最终获取每一年中的最高温度。具体气象数据的格式可以参考：https://blog.youkuaiyun.com/lihuinihao/article/details/38315... 阅读详情

相关推荐

hadoop2.x入门：编写mapreduce对气象数据集求每日最高气温和最低气温

1.下载气象数据集气象数据集下载地址为： - ftp://ftp.ncdc.noaa.gov/pub/data/noaa我们下载国内的气象数据，使用下面命令进行下载wget -D --accept-regex=REGEX -P data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/5*国内气象站ID区间为50001-59998详细的可以在《19

erygreat的博客 4730

Hadoop权威指南与NCDC气候数据分析实战

Hadoop作为一个分布式计算框架，其核心组件HDFS（Hadoop Distributed File System）和MapReduce为海量数据存储与处理提供了可靠的基础架构。HDFS负责数据的分布式存储，具备高容错和高吞吐特性；MapReduce则提供了并行计算能力，适合批处理大规模数据集。本章将引入NCDC（美国国家气候数据中心）2015年气候数据集，作为分析案例。该数据集包含全球范围内的气象观测记录，如气温、风速、降水量等，数据量庞大且结构清晰，适合使用Hadoop进行分布式处理与分析。

weixin_42576804的博客 859

hadoop气象数据

资源分不能设置为0，抱歉了，大家可以留言邮箱我发你，如果会员请下载下提供2分，git免费地址在下: https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all

Hadoop气象数据

Hadoop气象数据Hadoop气象数据Hadoop气象数据Hadoop气象数据Hadoop气象数据

Hadoop分析气象数据完整版代码

《分布式》布置了一道小作业，这是作业的所有代码，里面包含了Hadoop的MapReduce代码、和SSM框架显示数据的代码，有缺失私我，，，1积分吧哈哈。

NCDC气象数据的提取与处理（二）范例数据

为方便大家学习使用“NCDC气象数据的提取与处理（二）”，提供此范例数据，包括一个完整应用案例所需要的原始数据，代码，以及输出结果。

运算放大器电路仿真实践：从零实现完整示例

通过一个完整的运算放大器电路仿真示例，深入掌握电路仿真的关键步骤与技巧，帮助电子爱好者和工程师快速上手实际项目设计。

weixin_34725745的博客 1318

R语言dlnm包避坑指南：手把手教你配置交叉基矩阵（附温度分层与滞后多项式设置）

本文详细介绍了R语言dlnm包在配置交叉基矩阵时的实用技巧与避坑指南，特别针对温度分层与滞后多项式设置提供了具体参数配置建议。通过解析`crossbasis()`函数的核心参数、温度分析的分层策略以及不同基函数的适用场景，帮助研究者高效构建分布滞后非线性模型，避免常见错误并优化模型性能。

weixin_34094282的博客 401

MacOS下Mixly 2.0安装避坑指南：从Java环境到终端权限全解析

本文详细解析了在MacOS系统上安装Mixly 2.0时可能遇到的核心问题与解决方案。针对Java环境版本不兼容、MacOS Gatekeeper安全机制拦截以及终端权限不足三大常见障碍，提供了从检查并配置正确Java版本、安全设置绕过到彻底解决应用内部工具链权限的完整避坑指南，帮助用户顺利完成安装并正常使用。

weixin_29231725的博客 503

DataWorks PyODPS第三方包全攻略：从打包到加载的完整流程

本文详细介绍了在DataWorks的PyODPS节点中使用第三方Python包的完整流程，包括环境限制、打包工具pyodps-pack的使用、资源上传与加载实战，以及特殊场景处理技巧。通过本文，开发者可以掌握在MaxCompute受限环境中灵活使用自定义依赖的方法，提升数据处理效率。

dd012的博客 989

Jupyter实战：解决ModuleNotFoundError之xgboost缺失问题

本文详细解析了在Jupyter Notebook中遇到ModuleNotFoundError: No module named 'xgboost'错误的完整解决方案。通过诊断环境、使用pip正确安装xgboost、配置Python路径以及最终验证，帮助用户彻底解决模块缺失问题，并理解Jupyter内核与Python环境的关系，提升问题排查能力。

weixin_29064103的博客 384

华为OD机考双机位C卷:精准核酸检测 (C/C++/Py/Java/Js/Go)

华为OD机试双机位C卷精准核酸检测，提供C语言、Java、C++、Python、Go、JavaScript源码实现，并提供完整思路讲解。华为OD机试 - 精准核酸检测。

qq_45776114的博客 1729

如何正确的计算两个角度的角度差？

这一步是必要的，因为它确保了无论a相对于b是在逆时针方向还是顺时针方向，d2总是正确地反映出绕圆相反方向的角度差。这样，当函数进行最后的比较时，它能够准确地比较两个方向的旋转路径并选择最短的一个。

小秋 AI SLAM 入门实战教程 4136

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

IEM模型，地表粗糙度模拟

利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟

怀旧版电脑GBC模拟器