最近刚好赶上双11腾讯促销,于是抢购了一个8核16G内存的云服务器,加上业务上需要用到hadoop,hive,于是想搭建搭建一个hadoop分布式集群,但是限于自己手头上服务器数量不多,因此打算先搭建一个hadoop伪分布式集群。
首先介绍一下我的安装环境:
(1)java version
(2)hadopp version
接下来,开始我的环境搭建之旅,由于在上学期间已经搭建过,所以这里就不再很详细的阐述,只是记录重要的关键点。
目录
(1)创建hadoop用户
其实,完全可以用root用户来操作hadoop的,但是毕竟root的权限太高了,我们还是要令创建一个专门来管理hadoop的用户,这里就取名叫hadoop 。(以下是root模式下操作的)
useradd -m hadoop -s /bin/bash
这条命令创建了可以登录的hadoop用户,并使用/bin/bash作为shell。
接着使用如下命令设置密码,可简单的设置为hadoop,按提示输入两次密码:
sudo passwd hadoop
可为hadoop用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题
adduser hadoop sudo
至此已经创建好了hadoop用户
(2)ssh免密登陆
使用su hadoop 切换到用户hadoop
su hadoop
切换到hadoop用户后,先更新一些apt,后续会使用apt安装软件,如果没更新可能有一些软件安装不了。按ctrl+alt+t打开终端窗口或者使用xshell建立远程连接,执行如下命令:
sudo apt-get update
集群,单节点模式都需要用到SSH登录(类似于远程登录,你可以登录某台Linux主机,并且在上面运行命令),Ubuntu默认已安装了SSH client,此外还需要安装SSH server:
sudo apt-get install openssh-server
安装后,可以使用命令登录本机:
ssh localhost
此时会有如下提示(SSH首次登陆提示),输入yes。然后按提示输入密码hadoop,这样就可以登录到本机。
但这样登录是需要每次输入密码的,我们需要配置成SSH无密码登录比较方便。
首