<think>好的，用户需要
Hadoop安装和
伪分布式配置的详细步骤。首先，我得回顾之前的对话，用户之前已经得到了一个详细的步骤列表，但可能现在需要更详细或更准确的信息，特别是结合他们提供的站内引用。用户引用了四篇资料，其中提到创建专用用户、环境变量
配置、
配置文件修改等。需要注意引用中的不同点，比如用户应该使用哪个
配置文件，比如是
.bashrc还是
.bash_profile，引用[
1]和引用[3]提到的不同。同时，用户之前的回答可能有些步骤需要调整，例如是否要卸载系统自带的OpenJDK，或者如何正确设置
Hadoop的环境变量。接下来，我需要整合这些信息，确保步骤正确无误。例如，创建专用用户的部分，引用[
1]建议使用
hadoop用户，而用户之前的步骤是创建gjw用户。这里可能需要指出建议使用专用用户，但用户可以根据需要选择。另外，在
配置环境变量时，引用[3]提到编辑
.bashrc或
.bash_profile，而用户之前的回答用的是
.bash_profile，但Ubuntu默认使用的是
.bashrc，这里需要纠正，并说明根据实际情况选择。
还要注意
Hadoop配置文件的具体内容，比如core-site
.xml中的
hadoop.tmp
.dir是否正确设置，引用[4]中的例子有错误，正确的属性名应该是
hadoop.tmp
.dir而不是
hadoop.tmp
.version，这需要修正。
SSH免密登录的步骤是否正确，是否需要生成密钥并授权，这部分在之前的回答中已经包含，但需要确保用户执行时不会遇到权限问题。
最后，在验证步骤中，要检查进程是否运行，HDFS是否正常，以及如何提交MapReduce作业。用户可能还需要知道如何处理常见错误，比如端口冲突或权限不足。
需要确保所有步骤连贯，没有遗漏关键点，如初始化HDFS、启动服务等。同时，生成的相关问题要覆盖用户可能遇到的后续疑问，例如性能优化、错误排查、集群扩展等。</think>###
Hadoop安装与伪分布式配置详细步骤
---
#### 一、环境准备
1. **创建专用用户（推荐）**
```bash
sudo useradd -m
hadoop # 创建用户名为
hadoop的专用用户[^
1]
sudo passwd
hadoop # 设置密码
sudo usermod -aG sudo
hadoop # 赋予sudo权限
su -
hadoop # 切换到
hadoop用户
```
2
. **卸载系统自带JDK（如有冲突）**
```bash
sudo apt-get purge openjdk-\* # 清理旧版本JDK[^
1]
```
---
#### 二、JDK
与Hadoop安装
1. **
安装JDK 8**
```bash
sudo apt-get install openjdk-8-jdk
```
2
. **
配置环境变量**
- 编辑`~/
.bashrc`（Ubuntu默认使用此文件）[^3]：
```bash
nano ~/
.bashrc
```
- 添加以下内容：
```bash
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export
HADOOP_HOME=/usr/local/
hadoop
export PATH=$PATH:$JAVA_HOME/bin:$
HADOOP_HOME/bin:$
HADOOP_HOME/sbin
```
- 激活
配置：
```bash
source ~/
.bashrc
```
3
. **
安装Hadoop 3
.3
.4**
```bash
wget https://archive
.apache
.org/dist/
hadoop/common/
hadoop-3
.3
.4/
hadoop-3
.3
.4
.tar
.gz
sudo tar -xzvf
hadoop-3
.3
.4
.tar
.gz -C /usr/local/
sudo mv /usr/local/
hadoop-3
.3
.4 /usr/local/
hadoop
sudo chown -R
hadoop:
hadoop /usr/local/
hadoop # 修改所有权[^
1]
```
---
#### 三、
伪分布式核心
配置
1. **
配置`
hadoop-env
.sh`**
```bash
nano $
HADOOP_HOME/etc/
hadoop/
hadoop-env
.sh
```
修改JAVA_HOME路径：
```bash
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
```
2
. **
配置`core-site
.xml`**
```xml
<configuration>
<property>
<name>
hadoop.tmp
.dir</name>
<value>/usr/local/
hadoop/tmp</value> # 注意属性名正确性[^4]
</property>
<property>
<name>fs
.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
3
. **
配置`hdfs-site
.xml`**
```xml
<configuration>
<property>
<name>dfs
.replication</name>
<value>
1</value> # 单节点副本数为
1[^2]
</property>
<property>
<name>dfs
.namenode
.name
.dir</name>
<value>file:$
HADOOP_HOME/data/namenode</value>
</property>
<property>
<name>dfs
.datanode
.data
.dir</name>
<value>file:$
HADOOP_HOME/data/datanode</value>
</property>
</configuration>
```
---
#### 四、SSH免密登录
```bash
ssh-keygen -t rsa -P "" -f ~/
.ssh/id_rsa # 生成密钥对
cat ~/
.ssh/id_rsa
.pub >> ~/
.ssh/authorized_keys
chmod 600 ~/
.ssh/authorized_keys
ssh localhost # 验证免密登录（首次需输入yes）
```
---
#### 五、HDFS初始化
与启动
1. **格式化HDFS**
```bash
hdfs namenode -format # 仅首次执行[^2]
```
2
. **启动服务**
```bash
start-dfs
.sh # 启动HDFS
start-yarn
.sh # 启动YARN
```
3
. **验证进程**
```bash
jps # 应显示以下进程：
# NameNode, DataNode, ResourceManager, NodeManager
```
---
#### 六、验证集群状态
| 验证项 | 命令 | 预期输出示例 |
|----------------|--------------------------|----------------------------|
| HDFS运行状态 | `hdfs dfsadmin -report` | `Live datanodes (
1)` |
| YARN节点状态 | `yarn node -list` | `Total Nodes:
1` |
| Web UI访问 | 浏览器访问`http://localhost:9870` | 显示HDFS管理界面 |
---
### 相关问题
1. **如何解决`NameNode`启动失败的问题？**
2
. **
伪分布式环境下如何扩展为完全分布式集群？**
3
. **`hdfs dfsadmin -report`显示节点离线时如何排查？**
4
. **如何通过
Hadoop Web UI查看任务日志？**
5
. **为什么需要
配置`
hadoop.tmp
.dir`？其作用是什么？[^4]**
---
### 关键
配置验证公式
1. **HDFS存储容量验证**
$$ \text{可用空间} = \sum_{i=
1}^{n} \text{DataNode}_i
.\text{剩余空间} $$
2
. **YARN资源分配验证**
$$ \text{总内存} = \text{NodeManager数} \times \text{yarn
.nodemanager
.resource
.memory-mb} $$
[^
1]: 专用用户可避免权限冲突，提升系统安全性
[^2]:
伪分布式通过单节点模拟多节点行为
[^3]: 环境变量
配置需
与实际
安装路径严格一致
[^4]: `
hadoop.tmp
.dir`是
Hadoop临时文件存储的核心目录
Hadoop分布式搭建
本文分享了一位新手在CentOS 7.0上搭建Hadoop分布式环境的经历，包括选择虚拟机、操作系统、解决JDK配置问题及配置相关XML文件等关键步骤。
扫一扫
1680
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
