基于MapReduce进行项目实践的一系列环境配置(Centos,JDK,Hadoop,Hive等)

介绍

本篇文章主要记录利用MapReduce进行数据清洗,并将数据导入Hive数据库,进而对数据进行操作和处理,将结果导入MySql数据库并进行可视化整个项目所用到的一系列环境的详细配置,过程稍微坎坷艰辛了点,话不多说,看下文。

一、环境和工具

Windows10
Centos7
JDK11.0.7
MySQL8
Hadoop3.2.1
Hive3.1.2
Eclipse IDE
其中,在win10上安装配置JDK11、Eclipse、MySQL8,在Centos7中卸载原SQL和安装配置MySQL8这几部分在此系列中不做介绍,大家自行搜索配置啦。并且本次环境配置主要实现是的Centos7的单机伪分布式,不涉及完全分布式。

二、Centos7安装JDK11.0.7

详细Centos7安装JDK11.0.7,请移步

三、Centos7部署Hadoop3.2.1(伪分布式)

详细Centos7部署Hadoop3.2.1,请移步

四、Windows10下Eclipse搭建Hadoop3开发环境

链接待添加.

五、Centos7安装Hive3.1.2(MySQL8已提前

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值