hadoop安全分布式处理

最新推荐文章于 2025-06-02 18:18:04 发布

原创最新推荐文章于 2025-06-02 18:18:04 发布 · 154 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文详细介绍如何在三节点环境中搭建Hadoop集群，包括创建用户、安装JDK、配置环境变量、免密码SSH连接、复制配置文件及启动Hadoop服务等关键步骤。

使用root登录，

添加组groupadd hdgroup

添加用户useradd -g hdgroup hduser

设置密码 passwd hduser

chmod 777 /etc/sudoers

gedit /etc/sudoers

在 root    ALL=(ALL) ALL后加一行

hduser ALL=(ALL) ALL

chmod 440 /etc/sudoers

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙 chkconfig iptables off

重启该虚拟机系统使用hduser登录

安装jdk

sudo rpm -ivh jdk-7u67-linux-x64.rpm

一般在/usr/java/jdk1.7.0_67这个路径下

修改配置文件 sudo gedit /etc/profile

加入找到后保存

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

export JAVA_HOME=/usr/java/jdk1.7.0_67

export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

#hadoop

export HADOOP_HOME=/home/hduser/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile 生效

测试 java -version

14  cd ~

15  tar -zxvf hadoop-2.6.0.tar.gz

16  mv hadoop-2.6.0 hadoop

17  sudo gedit /etc/profile

18  source /etc/profile

另外再克隆两台节点node

更改主机名：

sudo gedit /etc/sysconfig/network

分别更改

NETWORKING=yes

HOSTNAME=node1

在root登录模式下，如果不是使用su - root 切换到root模式

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙 chkconfig iptables off

重启三台节点

主机名解析

打开配置文件 sudo gedit /etc/hosts

例如

192.168.37.131 node1

192.168.37.132 node2

192.168.37.133 node3

免密码登录其他电脑

在node1服务器主机中生成公/私钥对
ssh-keygen -t rsa -P ""

将node1服务器主机中的钥匙发给其他slave从机

ssh-copy-id localhost

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

注意ssh远程登录到那个主机，环境和权限是那个主机的环境并非本机的环境，也并非本机的权限，可以使用exit退出。并关闭当前的命令窗口重新开启一个命令窗口

拷贝配置文件

19

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node2:/home/hduser/hadoop/etc/

20

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node3:/home/hduser/hadoop/etc/

21  cd ~/hadoop    换位置

28  bin/hdfs namenode -format 格式化一下

32  cd ~/hadoop

33  sbin/start-dfs.sh

34  jps

http://node1:50070/

35  sbin/start-yarn.sh

36  jps

37  bin/hdfs dfsadmin -report

http://node1:8088/cluster/nodes

43  history