Hadoop生态圈是大数据行业内比较常用的离线数据处理技术,而Hadoop的安装模式又分三种、分别是单机模式、伪分布式和集群模式。伪分布式主要是用于开发人员测试,集群模式才是生产环境上配置的。那么、今天就说一下Hadoop的伪分布式安装搭建。
1、环境准备:
- 虚拟机系统:Centos-7
- JDK:JDK1.8.0_171。
- 关闭防火墙、配置好机器静态IP。
2、下载:
http://hadoop.apache.org/官网进行下载安装包、自行选择版本下载。但是、大家最好还是下载跟我同一个版本的安装包,这样配置的时候才不会出很多问题。因为不同版本的安装包,Apache可能会修改了某些参数,导致就算你的配置跟我的配置一样,但是还是不能启用。话不多说,这里我选择了hadoop-2.7.1版本下载。
3、安装配置:
- 配置主机名:执行以下命令进行打开虚拟机主机名配置文件,进行相应的修改。将文件中原有的主机名删除,添加你自己的主机名。保存并退出。随后重启虚拟机。
vi /etc/hostname
-
配置hosts文件:执行以下命令进行打开hosts配置文件,进行修改。在文件最后增加机器的IP地址和刚才配好的主机名。保存并退出。
vi /etc/hosts
-
生成SSH密钥:执行以下命令,然后一直回车。来生成SSH密钥。生成的密钥文件会存放在/root/.ssh/目录下。前提是你用的root帐号登录并且生成的ssh密钥。
ssh-keygen
-
配置机器免密登录:执行以下命令、将刚才生成好的SSH密钥发送指定的机器