基于MapReduce进行项目实践的一系列环境配置(Centos,JDK,Hadoop,Hive等)
介绍
本篇文章主要记录利用MapReduce进行数据清洗,并将数据导入Hive数据库,进而对数据进行操作和处理,将结果导入MySql数据库并进行可视化整个项目所用到的一系列环境的详细配置,过程稍微坎坷艰辛了点,话不多说,看下文。
一、环境和工具
Windows10
Centos7
JDK11.0.7
MySQL8
Hadoop3.2.1
Hive3.1.2
Eclipse IDE
其中,在win10上安装配置JDK11、Eclipse、MySQL8,在Centos7中卸载原SQL和安装配置MySQL8这几部分在此系列中不做介绍,大家自行搜索配置啦。并且本次环境配置主要实现是的Centos7的单机伪分布式,不涉及完全分布式。