ubuntu下部署hadoop3.1.3伪分布系统

前段时间开始学习大数据的一些知识，在查阅hadoop的资料时，因网上的数据比较乱，所以对相关资料整理汇总了一下，形成笔记，以方便以后查阅，也可供有兴趣的朋友共同学习参考。

学习过程主要参考了厦门大学林子雨老师的相关资料，特别感谢。
林子雨老师的博客（https://dblab.xmu.edu.cn/blog/author/ziyulin/）

学习过程中需要在ubuntu下运行，如需要虚拟机下安装、配置、运行ubuntu系统，可参考《Oracle VM VirtualBox 虚拟机安装Ubuntu并实现主机与虚拟机的数据共享》一文。地址：https://blog.youkuaiyun.com/hnkkfan/article/details/142138235。

【什么是hadoop】

Hadoop是apache开发的，分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架。其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，MapReduce是一个分布式计算框架。说通俗点，HDFS像是一个可以动态扩展的用来存储大规模数据的大硬盘，MapReduce像是一个计算引擎，通过规则编写程序，用于完成指定的计算任务。

【所需软件】
1、jdk-8u191-linux-x64.tar.gz
2、Hadoop 3.13
以上两个资源以及后面要用到的hbase，可从我的迅雷网盘中下载：
链接：https://pan.xunlei.com/s/VO5ao8SwNl67SPRnqjpFZk33A1#
提取码：rnfk

【准备工作】

（一）创建hadoop用户
创作如在ubuntu安装时，用户名就是hadoop，就无需本步操作。
否则就要新建一个。
首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 ，并设置其密码:

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。

（二）安装hadoop前，需要安装并配置ssh和JDK。
1 、安装ssh并配置ssh无密码访问
SSH是一种安全的远程访问连接方式，利用ssh工具，可以远程访问linux电脑并进行操作。Hadoop无论是单机运行还是集群运行，都需要用到ssh工具。Ssh工具需要客户端和服务器端。默认情况下,ubuntu安装完成后已经包括了客户端，所以我们只需要下载安装服务器端就行了。
打开ubuntu的终端（快键键为CTRL+ALT+T，这个在后面的操作经常用到，最好记得这个快捷键），输入：
sudo apt-get install openssh-server 后回车，按系统要求输入密码，会开始安装open ssh server。

安装过程中，系统会提示需要的空间，并确认我们是否继续，按Y，然后回车继续。
直到如下界面，安装完成。

在终端中输入 ssh localhost 即开始运行ssh服务。
第一次运行会有如下提示，输入yes按回车

然后输入密码，出现以下界面，说明ssh服务器已经在运行了。

这时我们的ssh是需要密码的，我们需要用 ssh-keygen 生成密钥，并将密钥加入到授权中，完成后以后再次登录，就不需要输入密码了。

输入exit 先退出目前正在登录的ssh
进入主目录的.ssh文件夹，cd ~/.ssh/
【说明】~指的是当前用户的主目录，.ssh文件夹前面有”.”，说明这是一个隐藏，用ls看不到这个文件夹，用ls -a可以看到。
执行 ssh-keygen -t rsa，重新生成密钥，然后输入三个回车
最后输入cat ./id_rsa.pub >> ./authorized_keys ，将公钥内容追加到授权文件中。

这时我们再运行ssh localhost 就不需要输入密码了。