Hadoop3.X伪分布式安装配置

Hadoop3.X伪分布式安装配置

安装SSH，配置SSH无密码登录

Hadoop中的集群单点模式需要使用到ssh登录，ubantu默认参数了SSH client，此外我们还需要安装SSH Server。

执行如下命令

sudo apt-get install openssh-server

使用ssh登录远程服务器

ssh localhost

ssh首次登陆会有如下提示

填yes继续再输入密码即可

再配置成无密码登录

退出刚才的ssh

exit

进入到ssh目录里

cd ~/.ssh/

生成密钥，会有提示，全按回车

将密钥加入授权

安装Java环境

更新软件包列表

下载Java安装包

安装完成以后查看信息

现在配置Java环境

在最顶端输入

需要让该环境变量生效需执行如下命令

查看环境变量是否生效

安装Hadoop

安装包从这里下载

https://hadoop.apache.org/releases.html

下载此格式的文件，下载好了之后在你想安装的路径下解压

我的是在/usr/local里

然后修改文件夹名为hadoop，提权

查看Hadoop是否可用

如图所示，安装完毕。

Hadoop运行

Hadoop默认为非分布式模式，无需进行其他配置即可运行，非分布式即单Java模式，方便进行调试。

Hadoop伪分布式配置

Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行

在Hadoop安装包的/etc/hadoop目录下修改core-site.xml文件

在Hadoop安装包的/etc/hadoop目录下修改hdfs-site.xml文件

在Hadoop安装包的/etc/hadoop目录下修改hadoop-env.sh文件

以此命令初始化进程

hdfs namenode -format

以此命令启动Hadoop

start-all.sh

可通过jps命令查看是否启动成功

如图Hadoop伪分布式配置完成！