hadoop初试2

 

 

 

前言：前两天尝试分别在位于北京上海的服务器上搭建hadoop环境，最后是以失败告终了，认为主要是因为3台服务器并非内网集群，固今天打算使用一台电脑进行伪分布式的hadoop环境部署，用以学习。

 

主要参照：https://www.cnblogs.com/biehongli/p/7640469.html

#1.首先根据参照文档，将机器上建好的3台虚拟机，进行网络分配，使他们像位于一个局域网一样

 

#2.用户权限的授予

-- 我登录的用户为一般用户，执行操作有诸多不便，遂将其授予root用户一样的权限，但root用户密码就是我设置的密码。

vi /etc/sudoers

#加入
hadoop ALL=(ALL) ALL

 

#3.在三台主机上分别设置/etc/hosts及/etc/sysconfig/network

sudo vi /etc/hosts

#内容如下
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.3.129 master
192.168.3.130 slaver1
192.168.3.131 slaver2

sudo vi /etc/sysconfig/network

#加入
NETWORKING=yes
HOSTNAME=master
#HOSTNAME=slaver1
#HOSTNAME=slaver2

配置好之后，互相能ping通

 

#jdk安装

#查看当前jdk版本

java -version

#查询相关java包
rpm -qa|grep java

#按照包名挨个删除
sudo rpm -e --nodeps *

#下载压缩包并解压

sudo mkdir /opt/java
cd /opt/java
#将压缩包u盘传上去
sudo tar -zxvf jdk-8u181-linux-x64.tar.gz

#将解压后的文件传到两个奴隶机上
sudo scp -r /opt/java/jdk1.8.0_181 slaver1:/opt/java
sudo scp -r /opt/java/jdk1.8.0_181 slaver2:/opt/java

#配置环境变量

sudo vi /etc/profile

#后加上
#set java
export JAVA_HOME=/opt/java/jdk1.8.0_171
export JRE_HOME=/opt/java/jdk1.8.0_171/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH="/opt/java/jdk1.8.0_171/bin:$PATH"

#保存退出
:wq

#立即生效
source /etc/profile

 

#hadoop安装配置

同 https://blog.youkuaiyun.com/weixin_39139129/article/details/81110565 第四步

 

#启动hadoop

#在Hadoop目录中，进行hdfs格式化

bin/hdfs namenode -format

#启动

sbin/start-all.sh

#停止

sbin/stop-all.sh

 

#查看master上jps

ResourceManager
NameNode
Jps
SecondaryNameNode

#查看slaver上jps​​​​​​​

Jps
NodeManager