Spark大作业

Spark大作业

一、目的

1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea等系统和软件的安装和使用；
2、了解大数据处理的基本流程；
3、熟悉数据预处理方法；
4、熟悉在不同类型数据库之间进行数据相互导入导出；
5、熟悉使用R语言进行可视化分析；
6、熟悉使用Eclipse或IntelliJ Idea编写Java程序操作HBase数据库

二、要求

1、对文本文件形式的原始数据集进行预处理
2、把文本文件的数据集导入到数据仓库Hive中
3、对数据仓库Hive中的数据进行查询分析
4、使用Sqoop将数据从Hive导入MySQL
5、使用Sqoop将数据从MySQL导入HBase
6、使用HBase Java API把数据从本地导入到HBase中
7、使用R对MySQL中的数据进行可视化分析

三、步骤

步骤一:本地数据集上传到数据仓库Hive

步骤二：Hive数据分析

步骤三：Hive、MySQL、HBase数据互导

步骤四：利用R进行数据可视化分析

1、分析消费者对商品的行为

2、分析哪一类商品被购买总量前十的商品和被购买总量

3、分析每年的哪个月份购买商品的量最多

4、分析国内哪个省份的消费者最有购买欲望

大作业报告及数据集

spark大作业