linux部署hadoop3.1.3

最新推荐文章于 2025-04-13 08:00:00 发布

原创

最新推荐文章于 2025-04-13 08:00:00 发布 · 1.3k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

这篇博客详细介绍了在Linux上部署Hadoop 3.1.3的步骤，包括创建hadoop用户，配置SSH无密码登录，进行单机非分布式和伪分布式的安装部署，并提供了相关配置文件的修改说明。在部署过程中还提到了可能遇到的问题和解决方法。

一、准备工作

1. 安装 jdk

2. 创建 hadoop 用户

在安装Hadoop前，我们要创建一个 hadoop 用户：

# 创建 hadoop 用户
useradd hadoop
# 设置 hadoop 用户密码
passwd hadoop

3. 修改 hadoop 用户权限

为 hadoop 用户增加管理员的权限

vim /etc/sudoers

添加如下配置文件只读需要使用 wq! 强制保存

hadoop  ALL=(ALL)       ALL

5. 切换至 hadoop 用户

su hadoop

6. 配置 ssh 无密码登录

# 通过 ssh 连接 根据提示输入密码
ssh localhost
# 连接成功后 退出 ssh 
exit
# 切换到 hadoop 用户 ssh 目录 如果没有 执行 ssh localhost
cd ~/.ssh/
# 根据提示 按回车就可以
ssh-keygen -t rsa
# 加入授权
cat ./id_rsa.pub >> ./authorized_keys
# 更改文件权限
chmod 600 authorized