基于VM虚拟机下Ubuntu系统,Hadoop的安装与详细配置

本文详细介绍了如何在Ubuntu 20.04虚拟机中安装Hadoop,包括创建Hadoop用户、安装Java 1.8、设置SSH免密登录、下载安装Hadoop并进行伪分布式配置。通过这些步骤,可以在本地通过xshell连接并管理Hadoop服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

基于VM虚拟机下Ubuntu系统中Hadoop安装与详细配置

准备工作

需要有一个虚拟机里的ubuntu系统,我的是20.04版本。

  1. 更换为阿里的源
# 备份原有的源
sudo  cp  /etc/apt/sources.list    /etc/apt/sources.list.bak

# 修改原文件权限为可编辑
sudo   chmod   777   /etc/apt/sources.list

# 使用gedit打开,并清空里面内容
sudo   gedit   /etc/apt/sources.list

# 更换里面内容为阿里的源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

在这里插入图片描述

# 更新
sudo apt update
sudo apt upgrade
  1. 配置xshell远程连接

在这里插入图片描述

# 需要先安装该依赖 (后面跟着系统需要,可能不同)
sudo apt install openssh-client=1:7.6p1-4ubuntu0.4

# 再安装openssh
sudo apt-get install openssh-server

然后就可以在xshell中进行连接了
在这里插入图片描述

  1. 安装文件传输的工具
sudo apt install lrzsz
  1. 关闭防火墙( 不用单独开辟端口
sudo ufw disable

创建Hadoop用户

# 创建Hadoop用户,并使用/bin/bash作为shell
sudo useradd -m hadoop -s /bin/bash

### 如何在VM虚拟机上设置和配置Hadoop环境 #### 创建专用用户 为了安全性和权限管理,建议专门为 Hadoop 创建一个独立的用户账户。通过这种方式可以更好地控制访问权限并减少潜在的安全风险。 ```bash sudo adduser hadoopuser ``` 此命令用于创建一个新的 Linux 用户 `hadoopuser`[^1]。 #### 安装 Java 运行环境 由于 Hadoop 是基于 Java 的分布式计算平台,因此需要先安装 JDK (Java Development Kit) 来提供必要的运行支持。可以通过包管理器来简化这一过程: 对于 Ubuntu 系统来说: ```bash sudo apt update && sudo apt install default-jdk -y ``` 这条指令会更新软件源列表并且自动安装默认版本的 OpenJDK 开发工具包。 #### 设置 SSH 免密码登录 为了让集群内的各个节点之间能够无障碍通信,通常要配置无密码 SSH 登录功能。具体操作如下: 首先切换到之前建立好的 `hadoopuser` 账号下执行以下命令生成公钥私钥对: ```bash su - hadoopuser ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` 上述脚本实现了无需输入密码即可实现本地主机之间的 SSH 访问。 #### 配置环境变量 编辑 `.bashrc` 或者新建自定义 shell 文件如 `my_env.sh` 添加路径至 JAVA_HOME 和 HADOOP_HOME 变量中去以便全局调用相关命令和服务程序。 ```bash echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' | tee -a ~/my_env.sh echo 'export PATH=$PATH:$JAVA_HOME/bin' | tee -a ~/my_env.sh source ~/my_env.sh # 应用更改后的环境变量 ``` 这里假设已经知道确切位置 `/usr/lib/jvm/java-11-openjdk-amd64` ,如果不确定可通过 `update-alternatives --config java` 查找实际路径[^3]. #### 下载解压 Hadoop 发行版 前往 Apache 官方网站获取最新稳定版本压缩包后将其放置于合适目录内展开。 ```bash cd ~/ wget https://downloads.apache.org/hadoop/common/stable/hadoop-x.y.z.tar.gz tar zxvf hadoop-x.y.z.tar.gz mv hadoop-x.y.z /opt/hadoop ln -s /opt/hadoop /opt/hadoop-current # 创建软链接方便后续升级替换 chown -R hadoopuser:hadoopuser /opt/hadoop* # 修改所有权给指定用户组 ``` 注意将上面 URL 中的具体版本号替换成当前所需版本。 #### 编辑核心配置文件 进入 `$HADOOP_HOME/etc/hadoop` 目录修改几个重要的 XML 格式的配置文档以适应个人需求场景下的参数设定;比如 core-site.xml, hdfs-site.xml, yarn-site.xml 等等。 #### 测试单节点伪分布模式 当一切准备工作完成后就可以尝试启动 NameNode 和 DataNode 并验证是否正常工作了。 ```bash /opt/hadoop/sbin/start-dfs.sh # 启动DFS服务 jps # 检查进程状态确认NameNode/DataNode已成功启动 ``` 以上就是基本流程概述,在多台机器组成真正意义上的生产级大数据处理平台上还需要进一步深入研究更多高级特性以及优化措施[^2]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值