一、实验目的
(1)熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用;
(2)了解大数据处理的基本流程;
(3)熟悉数据预处理方法;
(4)熟悉在不同类型数据库之间进行数据相互导入导出;
(5)熟悉使用Python,echarts进行可视化分析;
(6)熟悉使用idea编写Java程序操作HBase数据库。
二、实验平台
- 操作系统:Linux(建议Ubuntu16.04);
- Hadoop版本:2.7.1。
(1)熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用;
(2)了解大数据处理的基本流程;
(3)熟悉数据预处理方法;
(4)熟悉在不同类型数据库之间进行数据相互导入导出;
(5)熟悉使用Python,echarts进行可视化分析;
(6)熟悉使用idea编写Java程序操作HBase数据库。