虚拟机中四台Ubuntu安装配置Hadoop(上)

最新推荐文章于 2024-10-09 11:36:28 发布

原创最新推荐文章于 2024-10-09 11:36:28 发布 · 290 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#虚拟机 #分布式 #ubuntu #hadoop

分布式专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何在Ubuntu环境下配置Hadoop集群所需的SSH无密码登录，包括创建hadoop用户、生成SSH密钥对及分发密钥等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 环境

（1）硬件：Intel i5 3450，8G内存

（2）软件：

win7操作系统

虚拟机 VMware 9

虚拟机操作系统：64位Ubuntu 12.04.01

64位JDK，jdk-6u37-linux-x64.bin （安装过程参考这里）

（3）服务器部署

（待补充）

2. 设置各节点

（待补充）

3. 配置ssh

(1) Ubuntu中已经默认安装了ssh客户端，各个Ubuntu中都需要安装ssh服务，安装过程参考这里

(2) 创建hadoop用户（安装hadoop的几台服务器或者说Ubuntu虚拟机都需要创建同样的hadoop用户）

chensl@namenode:~$ sudo addgroup hadoop
[sudo] password for chensl: 
Adding group `hadoop' (GID 1001) ...
Done.
chensl@namenode:~$ sudo adduser --ingroup hadoop hadoop
Adding user `hadoop' ...
Adding new user `hadoop' (1001) with group `hadoop' ...
Creating home directory `/home/hadoop' ...
Copying files from `/etc/skel' ...
Enter new UNIX password:

输入密码： hadoop

passwd: password updated successfully
Changing the user information for hadoop
Enter the new value, or press ENTER for the default
	Full Name []: hadoop
	Room Number []:       
	Work Phone []: 
	Home Phone []: 
	Other []: 
Is the information correct? [Y/n] Y

输入Y 创建成功

当新添加的用户hadoop使用sudo命令时，会提示如下内容：

hadoop is not in the sudoers file.  This incident will be reported.

表明hadoop用户还无法运行sudo的命令，所以需要做下的工作：

（注：新装的ubuntu还未设定root密码，需要先使用原来账户执行sudo passwd root 命令来设定root的密码后，才可以su到root用户）：
执行命令：

su -       （如果是用“su ”而不是 “su - ” 切换成root的话，可能无法编辑sudoers文件）

输入密码登录成功，执行

ls -l /etc/sudoers

显示：

-r--r----- 1 root root 723 Jan 31 2012 /etc/sudoers

执行下面代码修改文件属性可写：

chmod u+w /etc/sudoers    (修改文件属性可写)

此时可查看到：

root@NameNode01:~# ls -l /etc/sudoers   （查看属性）
-rw-r----- 1 root root 723 Jan 31  2012 /etc/sudoers

继续执行下面的操作：

gedit /etc/sudoers      （编辑文件）

在 root ALL=(ALL:ALL) ALL 后面添加

hadoop ALL=(ALL) ALL

chmod u-w /etc/sudoers   (修改文件为原来不可写属性)
exit                     (退出root管理员身份)

（3）建立ssh key：

su - hadoop                  (切换到hadoop用户)
ssh-keygen -t rsa -P ""      （这个命令将为Ubuntu系统上的hadoop用户产生密钥对id_rsa
                               和id_rsa.pub）

输出结果：

chensl@NameNode01:~$ su - hadoop
Password:
hadoop@NameNode01:~$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
ab:88:59:08:33:3e:c6:59:17:a6:58:46:61:a8:60:65 hadoop@NameNode01
The key's randomart image is:
+--[ RSA 2048]----+
| oE.            |
|.o+              |
|+ o o           |
|. + o .          |
|+. o . S        |
|o+o..    .       |
| *. .   .        |
|. .+ . .         |
| o . .          |
+-----------------+

（4）建立几台Ubuntu之间的ssh key无密码登录认证

在其他几台Ubuntu中hadoop主目录下新建 .ssh目录，即 /home/hadoop/.ssh 的目录，（如果尚未有hadoop用户，需参照前面的步骤创建hadoop用户）

hadoop@DataNode01:~$ pwd
/home/hadoop                       （在hadoop的主目录下）
hadoop@DataNode01:~$ mkdir .ssh    （在DataNode01上执行）
hadoop@NN02:~$ mkdir .ssh          （在NN02上执行）
hadoop@DN02:~$ mkdir .ssh          （在DN02上执行）

将NameNode01上的 id_rsa.pub 传到另外三台Ubuntu的对应目录下，以DataNode01为例：

scp /home/hadoop/.ssh/id_rsa.pub  DataNode01:/home/hadoop/.ssh

输出如下：

hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa.pub DataNode01:/home/hadoop/.ssh
The authenticity of host 'datanode01 (192.168.0.112)' can't be established.
ECDSA key fingerprint is ad:c8:15:c2:d5:af:24:aa:a2:be:34:9f:51:9b:d9:23.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'datanode01,192.168.0.112' (ECDSA) to the list of known hosts.
hadoop@datanode01's password:
id_rsa.pub 100% 399 0.4KB/s 00:00

hadoop@DataNode01:~$ ls -l .ssh    
total 4
-rw-r--r-- 1 hadoop hadoop 399 Feb 21 10:56 id_rsa.pub    （显示结果）

同样，在NameNode01上执行命令

scp /home/hadoop/.ssh/id_rsa.pub  DN02:/home/hadoop/.ssh
scp /home/hadoop/.ssh/id_rsa.pub  NN02:/home/hadoop/.ssh

也把id_rsa.pub放置到对应目录下。

然后分别登录DataName01, DN02, NN02，将:/home/hadoop/.ssh/ 目录下的 id_rsa.pub 重命名成“authorized_keys” 执行下面的命令：

hadoop@DataNode01:~$ mv /home/hadoop/.ssh/id_rsa.pub  /home/hadoop/.ssh/authorized_keys
（DataNode01上执行）

hadoop@NN02:~$ mv /home/hadoop/.ssh/id_rsa.pub  /home/hadoop/.ssh/authorized_keys
（NN02上执行）

hadoop@DN02:~$ mv /home/hadoop/.ssh/id_rsa.pub  /home/hadoop/.ssh/authorized_keys
（DN02上执行）

此时可以在NameNode01上ssh无密码登录其余三台机器了，可以执行下面的命令检验：

hadoop@NameNode01:~$ ssh DataNode01   （执行此命令ssh到DataNode01，显示结果如下：）
The authenticity of host 'DataNode01 (192.168.0.112)' can't be established.

ECDSA key fingerprint is 85:f7:86:6f:3c:cc:30:69:fc:8a:94:87:32:e7:e3:51.

Are you sure you want to continue connecting (yes/no)? yes  (第一次ssh登录需要yes)
Warning: Permanently added 'DataNode01' (ECDSA) to the list of known hosts.

Welcome to Ubuntu 12.04.1 LTS (GNU/Linux 3.2.0-29-generic x86_64)
 * Documentation:  https://help.ubuntu.com/
338 packages can be updated.
104 updates are security updates.
Last login: Thu Feb 21 12:30:31 2013 from namenode01
hadoop@DataNode01:~$     （此时已经由namenode01登录到DataNode01，exit命令退出）

NameNode01通过ssh登录其他几台已经不需要密码了，通过下面操作，ssh登录自身也不需要密码。

hadoop@NameNode01:~$ cp /home/hadoop/.ssh/id_rsa.pub  /home/hadoop/.ssh/authorized_keys
(复制)

hadoop@NameNode01:~$ ssh localhost     （ssh登录NameNode01本地）

此时NameNode01可以ssh登录任意一台Ubuntu了，另外三台还不能登录NameNode01，下面需要做的是将NameNode01里面生成的id_rsa 放置到另外三台Ubuntu的同等目录下

hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa  DataNode01:/home/hadoop/.ssh  （执行命令结果如下）
id_rsa                                        100% 1679     1.6KB/s   00:00    
hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa  NN02:/home/hadoop/.ssh 
（执行命令结果如下）

id_rsa                                        100% 1679     1.6KB/s   00:00    
hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa  DN02:/home/hadoop/.ssh
（执行命令结果如下）

id_rsa                                        100% 1679     1.6KB/s   00:00    
hadoop@NameNode01:~$

此时四台虚拟机Ubuntu之间，任意两台之间可以ssh无密码登录了，配置ssh完成。