在VMware虚拟机上分布式安装Hadoop架构（1）——准备工作

最新推荐文章于 2024-05-13 16:33:51 发布

周五见

最新推荐文章于 2024-05-13 16:33:51 发布

阅读量922

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据实践学习

本文链接：https://blog.youkuaiyun.com/qq_41059320/article/details/82771139

大数据实践学习专栏收录该内容

21 篇文章

订阅专栏

0 主要参考教程

1 、厦门大学数据库实验室
2、JeffreyZhou的博客园

00 大概步骤

~~1、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境~~
2、在 Master 节点上安装 Hadoop，并完成配置
3、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
4、将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
5、在 Master 节点上开启 Hadoop

1.1 Ubuntu系统安装

服务器为Windows Server 2012 R2系统，在此服务器上，用VMware Workstation 14 Pro 虚拟机安装Ubuntu系统。其详细配置信息如图所示：
虚拟机系统配置

先配置一个Slaver系统即可，配置完成后利用虚拟机的克隆功能，创建Slaver23

1.2 创建hadoop用户

在本例中，Master系统中有两个用户xiaozhou和hadoop，其余三个从结点（Slaver1~3）只有一个用户hadoop。
　　在Master系统中，创建新用户hadoop：

　$ sudo useradd -m hadoop -s /bin/bash
　$ sudo passwd hadoop
　$ sudo adduser hadoop sudo

上述语句：

创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。
设置密码
为hadoop用户增加管理员权限

1.3 更新apt，安装vim

$ sudo apt-get upgrade
$ sudo apt-get install vim

1.4 SSH安装配置

SSH用于主、从节点之间的连接；Ubuntu默认已安装SSH client，还需要安装SSH server：

$ sudo apt-get install openssh-server
# 安装后使用如下命令登录本机
$ ssh localhost   # 会发现需要密码
$ exit # 退出本次登录，

在首次登录后，会自动生成~/.ssh/文件夹，穷则独善其身，我们先对本机实现无密码登录：

$ cd ~/.ssh/
$ ssh-keygen -t rsa  # 此时一路回车不回头
$ cat ./id-rsa.pub >> ./authorized_keys # 加入授权

再次使用ssh localhost命令，无需输入密码即可登录。
此时实现的是本机的SSH无密登录，等后续建立slave节点后，再进行主、从节点间的SSH无密登录。

1.5 安装Java环境

怎么下载安装JDK的实在有点忘了，不过这个随意一搜就知道了，在这就懒得再写这一过程了。　　
　　大概步骤就是直接下载JKD的tar.gz压缩包，然后直接解压缩到一个目录下就行了。不像windows那样还有安装exe文件，主要是知道解压在哪个目录下了，接下来配置环境变量。
　　本例中，将JAVA_HOME配置在/etc/profile中，
profile内容

设置完成后一定不要忘了让该环境变量生效，不然你会怀疑人生是不是做了什么错事，明明设置了位数没反应。别怀疑，人丑就要多读书，你就是读少了。

$ source /etc/profile   # 使变量设置生效
$ echo $JAVA_HOME   # 检验变量值

1.6 后记

到此，Master上面的准备工作已经基本完成，中间可能会出现一些小问题，可以参考另外一篇博文，Hadoop实践学习中的问题汇总（持续补充），这记录了Hadoop实践学习中本人亲历的一（大）些（量）小东西，别致的很呢。