### 已有 Ubuntu 系统中设置
Hadoop 伪分布式模式
要在现有的 Ubuntu 系统中配置
Hadoop 的伪分布式模式，以下是详细的说明：
#### 1. 创建专用的
Hadoop 用户
为了安全性和权限管理，在
安装之前建议创建一个新的用户来运行
Hadoop。这可以通过以下命令
完成：
```bash
sudo addgroup
hadoop
sudo adduser --ingroup
hadoop hduser
```
此操作将创建一个名为 `hduser` 的新用户并将其添加到 `
hadoop` 组中[^1]。
#### 2. 下载和解压
Hadoop 软件包
下载最新版本的
Hadoop 并将其解压缩至 `/usr/local/` 或其他适合的位置：
```bash
wget https://archive.apache.org/dist/
hadoop/common/
hadoop-2.7.3/
hadoop-2.7.3.tar.gz
tar -xzvf
hadoop-2.7.3.tar.gz -C /usr/local/
```
接着更改文件夹的所有权以便新的
Hadoop 用户可以
访问它：
```bash
sudo chown -R hduser:
hadoop /usr/local/
hadoop-2.7.3
```
#### 3. 修改环境变量
编辑 `.bashrc` 文件以永久设置
Hadoop 和 Java 的路径：
```bash
nano ~/.bashrc
```
在文件末尾追加如下内容：
```bash
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export
HADOOP_INSTALL=/usr/local/
hadoop-2.7.3
export PATH=$PATH:$
HADOOP_INSTALL/bin
export PATH=$PATH:$
HADOOP_INSTALL/sbin
export
HADOOP_MAPRED_HOME=$
HADOOP_INSTALL
export
HADOOP_COMMON_HOME=$
HADOOP_INSTALL
export
HADOOP_
HDFS_HOME=$
HADOOP_INSTALL
export YARN_HOME=$
HADOOP_INSTALL
export
HADOOP_CONF_DIR=$
HADOOP_INSTALL/etc/
hadoop
```
保存后执行以下命令使更改生效：
```bash
source ~/.bashrc
```
#### 4. 编辑核心配置文件
Hadoop 使用多个 XML 配置文件定义其行为。这些文件位于 `$
HADOOP_CONF_DIR` 中。
##### (a) core-site.xml
该文件用于指定
HDFS 默认存储位置以及临时目录地址：
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>
hdfs://localhost:9000</value>
</property>
<property>
<name>
hadoop.tmp.dir</name>
<value>/app/
hadoop/tmp</value>
</property>
</configuration>
```
##### (b)
hdfs-site.xml
在此处设定 NameNode 和
DataNode 存储数据的具体路径：
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hduser/
data/namenode</value>
</property>
<property>
<name>dfs.
data.dir</name>
<value>/home/hduser/
data/
datanode</value>
</property>
</configuration>
```
##### (c) mapred-site.xml
启用 MapReduce 框架支持：
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
##### (d) yarn-site.xml
YARN 是资源调度框架的核心组件之一：
```xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>5120</value>
</property>
</configuration>
```
#### 5. 格式化 NameNode
首次启动前需初始化
HDFS 文件系统结构：
```bash
cd $
HADOOP_PREFIX
./bin/
hdfs namenode -format
```
如果一切正常，则会看到类似于 “successfully formatted” 的消息[^4]。
#### 6. 启动服务
依次启动
HDFS 和 YARN 服务：
```bash
start-dfs.sh
start-yarn.sh
```
验证是否成功通过浏览器打开 Web UI
页面确认状态，默认端口分别为 http://localhost:50070 和 http://localhost:8088[^2]。
最后可通过简单指令检查当前部署情况：
```bash
$
HADOOP_HOME/bin/
hadoop version
```
上述命令应返回所
安装 Hadoop 的具体版本号信息[^3]。
---
扫一扫
8704
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
