基于时间序列模型的NCDC气象数据分析----自用
文章平均质量分 88
本项目是基于时间序列模型对ncdc的数据进行分析,数据采集自ncdc官方网站。项目主要功能是对ncdc的数据进行etl清洗后,使用hadoop streaming转换为可用于mapreduce分析的数据格式,接下来使用mapreduce对数据进行etl处理,并将处理的结果保存到关系型数据库mysq
Dija-bl
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
任务30:项目任务部署与测试
本文介绍了Django项目部署到服务器的完整流程。首先通过pip freeze生成requirements.txt文件,打包项目并上传至服务器。随后详细说明了在服务器上安装Python3.9的过程,包括解压安装文件、配置编译环境、建立软连接等步骤。重点讲解了依赖包的批量安装方法,以及通过修改配置文件解决SQLite3版本兼容性问题。最后配置settings.py文件并启动Django服务完成测试。整个过程涵盖了从项目打包、环境搭建到服务测试的完整部署流程,为Django项目的服务器部署提供了实用指导。原创 2025-06-04 08:45:00 · 1543 阅读 · 0 评论 -
任务29:绘制1-12月平均降水量城市TOP10可视化图形
本文介绍了使用Django和ECharts绘制降水量TOP10城市条形图的完整流程。首先参考ECharts官网柱状图示例,调整配置项改为条形图并添加标题。然后从MySQL数据库读取城市降水数据,处理数据时将降水量除以10(去除膨胀因子),并按月份构建字典格式的数据结构。接着详细说明了如何修改图表样式:包括标题样式、坐标轴设置(去除分割线、添加刻度线)、柱状图渐变颜色效果等。最后实现了数据动态更新功能,使图表能随月份切换自动重新渲染,并调整了条形图排序(从大到小)。整个过程涵盖了数据获取、处理、可视化配置等关原创 2025-06-04 08:45:00 · 715 阅读 · 0 评论 -
任务28:绘制1-12月各城市平均气温可视化图形
任务描述任务指导1、渲染和查看模板在资料中已经提供了词云对照模板,先通过构建视图函数word_sample和配置路由word_sample/来渲染该对照模板,渲染后模板如下:2、读取和处理词云数据数据存于MySQL中的city_temp表中,其字段如下:需要进行以下处理:1)由于气温的膨胀因子为10,也就是说是原始数据的10倍,因此需要将获取的数据除以10。原创 2025-06-04 08:45:00 · 885 阅读 · 0 评论 -
任务27:绘制1-12月各省份平均气压可视化图形
本文介绍了基于Django和ECharts的矩形树图实现方法。首先参考ECharts官网示例,调整矩形树图配置项,去除子节点和面包屑导航。然后从MySQL数据库读取省份气压数据,进行数据预处理(除以膨胀因子10),并按月份构建符合ECharts格式的树形数据字典。接着在Django视图中传递处理后的数据到模板,通过JavaScript调用ECharts API绘制矩形树图,并配置标题、边距等属性。最终实现了一个动态展示2022年各省份各月份气压情况的可视化矩形树图,能够随月份变化自动更新显示。整个方案涵盖了原创 2025-06-04 08:00:00 · 672 阅读 · 0 评论 -
任务26:绘制1-12月各省份平均气温和预测可视化图形(折线
任务描述任务指导1、绘制列表框,能够切换不同的省份需要绘制的图形如下:因此需要添加一个列表框,该列表框中的选项为所有的省份,通过改变列表框中的选项,折线图能够获取到该省份的数据,然后绘制该省份的图形。原创 2025-06-02 22:30:00 · 780 阅读 · 0 评论 -
任务25:绘制全局时间线(TimeLine)
任务描述任务指导1、参考ECharts官网示例:(https://echarts.apache.org/examples/zh/index.html),示例图形如下:2、创建timeline.js,绘制时间线图参考ECharts官网示例代码,定义timeline()绘图函数,其中定义months变量,将playInterval数据中的1000换成之前定义的全局变量time_interval,data配置想换成months,label配置项去掉。3、引入js文件,并调用绘图函数。原创 2025-06-02 14:15:00 · 1107 阅读 · 0 评论 -
任务24:绘制1-12月各省份平均气温和风速可视化图形(主区域地图)
任务描述任务指导。原创 2025-06-02 06:00:00 · 1155 阅读 · 0 评论 -
任务23:创建天气信息大屏Django项目
任务描述任务指导。原创 2025-06-01 19:00:00 · 1128 阅读 · 0 评论 -
任务22:创建示例Django项目,展示ECharts图形示例
任务描述任务指导1、创建web_test的Django项目2、了解Echarts基本的图表类型模板,api接口和配置项,请参考官方文档:https://echarts.apache.org/examples/zh/index.html。针对Echarts官网中的示例DEMO,挑选具有代表性的样例进行练习。3、完成Django项目,并通过配置项进行修改图形。任务实现。原创 2025-06-01 11:30:00 · 1096 阅读 · 0 评论 -
任务21:天气信息大屏说明及流程
任务描述。原创 2025-06-01 07:00:00 · 380 阅读 · 0 评论 -
任务20:实现各省份平均气温预测
任务描述任务指导。原创 2025-05-31 16:00:00 · 526 阅读 · 0 评论 -
任务19:实现山东省气温预测
任务描述任务指导。原创 2025-05-31 12:15:00 · 996 阅读 · 0 评论 -
任务18:时间序列的模型
任务描述任务指导。原创 2025-05-31 08:00:00 · 1141 阅读 · 0 评论 -
任务17:时间序列的基本特征
时间序列是指社会经济现象在不同时间上的一系列指标值,按时间先后顺序加以排列而形成的数列。时间数列两个要素:现象所属的时间t和与这些时间相对应的统计指标数值yt。时间序列模型,顾名思义,时间序列是时间间隔不变的情况下收集的时间点集合。这些集合被分析用来了解长期发展趋势,为了预测未来或者表现分析的其他形式。原创 2025-05-30 09:00:00 · 977 阅读 · 0 评论 -
任务15:使用Hive进行全国气象数据分析
任务描述任务指导。原创 2024-01-16 01:30:00 · 2853 阅读 · 3 评论 -
任务14:使用MapReduce提取全国每年最低/最高气温
任务描述任务指导任务实现。原创 2024-01-16 01:00:00 · 1977 阅读 · 1 评论 -
任务13:使用MapReduce对天气数据进行ETL(获取各基站ID)
当前在数据集中不包含基站编号字段,每个基站的编号体现在各个文件名的前5位,例如在“450010-99999-2000”文件中包含的是编号为“45001”的基站数据,所以需要将各个基站的编号添加到对应的数据文件中,并且在各个文件中每个字段之间的分隔符也是不一致的,所以也需要对数据进行清理,由于数据量较大,可以考虑使用MapReduce进行数据清理的工作。使用MapReduce对天气数据进行预处理,并在数据文件中添加对应基站ID,并将原来字段间的分隔符改为使用逗号分隔,以便于大Hive中使用该数据集。原创 2024-01-16 00:30:00 · 1628 阅读 · 0 评论 -
任务11:使用FTP下载NCDC气象数据
数据源为NCDC(美国国家气候数据中心,National Climatic Data Center),隶属于NOAA(美国国家海洋及大气管理局,National Oceanic and Atmospheric Administration)。数据来自NCDC的公开FTP服务器,本项目只选取了中国区域(含港澳台)的观测站点数据,按年打包。时间范围:1942年至今。时间精度:近年的数据大多为3小时数据,少量站点有1小时数据。站点数量:近年为400多个。原创 2024-01-15 16:45:00 · 5381 阅读 · 0 评论 -
任务10:安装配置Java开发环境
任务描述任务指导。原创 2024-01-15 14:15:00 · 1201 阅读 · 0 评论 -
任务9:安装配置Python开发环境
Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。[1] 因为包含了大量的科学包,Anaconda 的下载文件比较大(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和 Python)。2)PyCharm。原创 2024-01-15 10:30:00 · 1030 阅读 · 0 评论 -
任务8:安装大数据统计分析工具Hive
Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。原创 2024-01-15 09:00:00 · 1077 阅读 · 0 评论 -
任务7:安装MySQL数据库
任务描述任务指导MySQL是一个由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。任务实现。原创 2024-01-15 08:00:00 · 1020 阅读 · 0 评论 -
任务6:启动Hadoop集群并测试
主机名守护进程masterslave1slave2任务实现。原创 2024-01-15 07:00:00 · 850 阅读 · 0 评论 -
任务5:安装并配置Hadoop
任务描述任务指导Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。任务主要内容:下载安装Hadoop包,配置环境变量,配置Hadoop集群1. 创建Hadoop目录2. 解压Hadoop安装包3. 创建Hadoop数据存放的目录(例如:tmp、hdfs、hdfs/data、hdfs/name等目录)4. 配置Hadoop环境变量5. 修改Hadoop配置文件任务实现。原创 2024-01-14 07:00:00 · 1109 阅读 · 0 评论 -
任务4:安装并配置JDK
任务描述任务指导。原创 2024-01-13 07:00:00 · 1087 阅读 · 0 评论 -
任务3:配置SSH免密码连接--自用
任务描述任务指导Hadoop分布式集群是由多个节点组成,各节点之间需要通过网络访问,如果每次都需要输入密码,非常不方便,所以可以考虑设置各节点之间免密码连接。任务的内容为在各个节点配置SSH,首先在所有集群服务器节点上生成密钥对,然后再将公钥合并到一个公钥文件中,最后将该文件分发到所有节点,这样就可以实现各节点之间的免密码连通了。任务实现Hadoop分布式集群是由多个节点组成,各节点之间需要通过网络访问,如果每次都需要输入密码,非常不方便,所以可以考虑设置各节点之间免密码连接。原创 2024-01-12 07:00:00 · 1262 阅读 · 0 评论 -
任务2:配置集群网络环境
任务描述任务指导。原创 2024-01-11 23:14:22 · 710 阅读 · 0 评论 -
任务1:运行环境说明
任务描述任务指导序号配置名称详细说明备注任务实现序号配置名称详细说明备注。原创 2024-01-11 01:00:00 · 912 阅读 · 0 评论
分享