基于hadoop+hive的全国天气大数据可视化平台

随着云计算和物联网的发展，大数据已经成为当今社会必不可少的技术。气象服务的发展，以及气象数据量的快速增长，促使大数据技术在气象服务中发挥着举足轻重的作用，大数据的应用将为气象科学的不断发展提供新的思路和方法。

本文对基础的天气数据信息，进行采集和分析显得尤为必要。我们的气象数据分析系统是以Hadoop的Mapreduce为基础的，前端采用swing编写，后台使用Hadoop集群，数据库使用MySQL，天气数据信息采集与分析，以天气网（www.tianqi.com）为数据源，通过网页爬虫技术，分析网页结构，获取天气数据信息，并存储。然后，通过天气等级划分标准，将文本描述的天气信息量化成天气等级信息。最后，在地图上可视化显示，通过对比分析很容易发现异常点和天气数据信息呈现的规律性信息。

关键词：天气数据；气象数据；大数据分析；Hadoop；可视化

Abstract
With the development of cloud computing and the Internet of Things, big data has become an essential technology in today's society.The development of meteorological services, as well as the rapid growth of meteorological data volume, promotes big data technology to play an important role in meteorological services. The application of big data will provide new ideas and methods for the continuous development of meteorological science.

It is particularly necessary to collect and analyze the basic weather data information.Our meteorological data analysis system is based o