Hadoop大数据实践-天气分析预测系统，Hadoop大数据技术综合实验：网站访问日志采集、处理及分析

考查机试试题

课程：Hadoop大数据实践

阶段：大二

院校名称：

考试日期：

准考证号：

姓名：

注意：

1. 考试时间2小时，总分100分；
2. 考试结束试卷必须交回，不交回试卷者成绩无效。

题目：使用Hadoop实现天气数据的统计

• 语言和环境

1. 环境要求：Java 8、IDEA、MySQL。
2. 使用技术：Hadoop、MapReduce

• 实现功能

本系统要求对天气的数据（CSV格式）进行分析统计，具体实现功能如下：

1. 在虚拟机中搭建一个由一个Hadoop伪分布式环境（将hostname中的主机名改为自己姓名的拼音）。Java信息如图1.1所示，启动后的进程如图1.2所示

图1.1 主机名和java版本信息

 

 

图1.2 Hadoop开发环境启动后的进程信息

1. 使用Hadoop Shell将天气信息上传到HDFS文件系统上
2. 在数据库中创建表

1）weather_month表

City	Char()	NOT NULL	城市
Time