Hadoop的安装-伪分布式

目录

Hadoop的安装方式

Hadoop的安装步骤

 更新apt

安装SSH、配置SSH无密码登陆

安装Java环境

---

Hadoop的安装方式

1.单机模式：在个人电脑（一台计算机）上

2.伪分布式模式：也是一台机器，但是可以模拟不同的进程，每个进程就相当于不同的机器

3.集群模式：...

Hadoop的安装步骤

参考教程：Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客 (xmu.edu.cn)http://dblab.xmu.edu.cn/blog/2441-2/

1. 先在官网/资源库里下载需要的文件，放到windows系统与linux系统的共享文件夹下：

hadoop-3.1.3和jdk-8i162-linux-x64压缩包：

链接：https://pan.baidu.com/s/10PzyOLl81ti2on2mjLTASQ 
提取码：jyjy

 

 2. 来到虚拟机的Linux系统Ubuntu中，找到桌面的共享文件夹，双击输入本机的用户密码之后可以看到共享文件夹下有之前在windows中保存下来的压缩包：

 

 3. 左键选中第一个文件的同时按住键盘上的“ctrl”键，同时选中第二个文件，再点击右键，在菜单栏中选择复制：

 

 4. 然后来到主目录下，点击鼠标右键，选择粘贴，主目录中将显示两个粘贴过来的文件：

 5. 创建Hadoop用户，输入命令后再输入本机的密码：

命令：

sudo useradd -m hadoop -s /bin/bash

 sudo命令

本文中会大量使用到sudo命令。sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码。

 6. 设置Hadoop用户的密码：

命令：

sudo passwd hadoop

 7.给Hadoop增加管理员权限：

命令：

sudo adduser hadoop sudo

 

最后注销当前用户（点击屏幕右上角的倒三角，选择注销），返回登陆界面。在登陆界面中选择刚创建的 Hadoop 用户进行登陆。

 

 更新apt

 1.为了后续方便在Hadoop中安装软件，要更新apt（最好去更新），等待一点时间即可：

 命令：

sudo apt-get update

 后续需要更改一些配置文件，建议安装一下vim（vi增强版，基本用法相同），（如果你实在还不会用 vi/vim 的，请将后面用到 vim 的地方改为 gedit，这样可以使用文本编辑器进行修改，并且每次文件更改完成后请关闭整个 gedit 程序，否则会占用终端）： 

 在提示处输入 y 即可。

最后结果如图所示： 

安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

命令：

sudo apt-get install openssh-server

 

  在提示处输入 y 即可。

安装后，可以使用如下命令登陆本机： 

命令：

ssh localhost       #这里localhost表示本机，若将来打算登到另一台电脑上，那么就输入另一台电脑的主机名或者IP地址

 首次登录需要输入yes，但是由于之后的内容出现报错：

hadoop首次登陆ssh报错：ssh_dispatch_run_fatal: Connection to 127.0.0.1 port 22

 一些解决方案（仅参考）：

(10条消息) 启动hadoop出现ssh connect to host hadoop101 port 22 No route to host 问题解决方案_bp粉的博客-优快云博客https://blog.youkuaiyun.com/m0_67392182/article/details/124107412ssh登入锐捷交换机，报错提示：ssh_dispatch_run_fatal，问题解决 _RuncX的技术博客_51CTO博客https://blog.51cto.com/runcx/3875355

（由于本人太过菜鸡，查询解决未果后选择了重启虚拟机）

再次输入命令，好像可以了，之后输入密码：

 

 但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

 命令：

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用

ssh localhost

命令，无需输入密码就可以直接登陆了，如下图所示：

安装Java环境

在“Hadoop的安装步骤”里我们已经知道java的压缩包已经从共享文件夹下挪到了可以直接访问的主目录下，因此执行以下命令：

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
ls #列出主目录的文件，可以看到之前移动到主目录的压缩包文件
sudo tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下

JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下，

命令：

cd /usr/lib/jvm
ls

上面命令使用vim编辑器，打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容，保存.bashrc文件并退出vim编辑器：

 然后，继续执行如下命令让.bashrc文件的配置立即生效：

source ~/.bashrc

这时，可以使用如下命令查看是否安装成功：

java -version

 安装成功则如下图所示：