<think>嗯，
用户想了解Hadoop的单节点安装过程。我需要先回忆一下Hadoop的基本安装步骤，尤其是单节点模式。单节点安装通常用于测试或学习，所以可能
用户是刚开始学习Hadoop，需要搭建一个简单的环境。
首先，要确保
用户满足系统要求，比如
Java环境，因为Hadoop是基于
Java的。所以第一步应该是安装JDK。需要确认
用户是否已经安装了正确版本的
Java，Hadoop 3.x可能需要
Java 8或更高版本。
接下来，可能需要创建专用的Hadoop
用户，虽然这一步不是必须的，但为了权限管理和避免
使用root账户，推荐这么做。
用户可能对
Linux命令不熟悉，所以需要详细说明如何创建
用户和设置密码，以及赋予sudo权限。
然后是配置SSH免密登录，因为Hadoop的脚本需要无密码访问本地节点。这里可能需要生
成SSH密钥对，并将公钥添加到authorized_keys文件中。
用户可能会遇到权限问题，比如.ssh目录的权限设置不正确，需要提醒他们注意。
下载和解压Hadoop的步骤也很重要。需要给出具体的下载链接，或者建议
用户从官网获取最新版本。解压后的目录结构可能需要说明，比如存放的位置，比如/usr/local/hadoop，并设置环境变量，比如
JAVA_HOME和Hadoop相关的路径。
接下来是Hadoop的配置文件修改。
用户需要编辑几个核心配置文件，如hadoop
-env.sh、core
-site.xml、hdfs
-site.xml、mapred
-site.xml和yarn
-site.xml。每个文件的作用需要简要说明，比如core
-site.xml设置文件系统路径，hdfs
-site.xml配置HDFS的参数，比如副本数（单节点设置为1），mapred
-site.xml配置MapReduce
使用YARN，yarn
-site.xml配置资源管理。
格式化HDFS的步骤是关键，否则NameNode
无法启动。
用户可能需要执行hdfs namenode
-format
命令，但要注意这个
命令只需要在第一次安装时执行，重复执行可能导致数据丢失。
启动Hadoop集群的部分需要详细说明如何运行start
-dfs.sh和start
-yarn.sh，或者
使用start
-all.sh（如果可用的话）。然后验证进程是否运行，比如用
jps命令查看
Java进程，或者通过web界面访问ResourceManager和NameNode的端口。
最后，运行一个示例作业，比如WordCount，来测试整个Hadoop是否正常工作。这部分需要
用户准备好测试文件，上传到HDFS，执行MapReduce任务，并检查输出结果。
可能遇到的常见问题包括
Java路径配置错误、SSH免密登录失败、配置文件格式错误、端口被占用等。需要提醒
用户检查日志文件，如logs目录下的日志，来排查错误。
用户可能对某些步骤不熟悉，比如环境变量的配置，或者编辑XML文件。需要确保步骤清晰，
命令准确，避免遗漏关键细节。另外，注意
使用中文，避免专业术语过多，必要时进行解释，比如NameNode、DataNode的作用。
总之，整个安装过程需要分步骤详细说明，确保
用户能够逐步操作，并在遇到问题时提供可能的
解决方法。同时，提醒
用户注意版本兼容性，比如Hadoop版本与
Java版本的对应关系，避免因版本不匹配导致安装失败。</think>好的，下面分步骤详细介绍Hadoop单节点（伪分布式模式）的安装过程：
---
### **1. 环境准备**
- **系统要求**：
Linux系统（如
Ubuntu 20.04）
- **
Java环境**：安装JDK 8或更高版本
执行
命令：
```bash
sudo apt update
sudo apt install openjdk
-8
-jdk
```
---
### **2. 创建Hadoop
用户（可选但推荐）**
```bash
sudo adduser hadoopuser # 创建
用户
sudo usermod
-aG sudo hadoopuser # 赋予sudo权限
su
- hadoopuser #
切换用户
```
---
### **3. 配置SSH免密登录**
```bash
ssh
-keygen
-t rsa
-P '' # 生
成密钥对（按回车默认路径）
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost # 测试免密登录
```
---
### **4. 下载并解压Hadoop**
```bash
wget https://dlcdn.apache.org/hadoop/common/hadoop
-3.3.6/hadoop
-3.3.6.tar.gz
tar
-xzvf hadoop
-3.3.6.tar.gz
sudo mv hadoop
-3.3.6 /usr/local/hadoop # 移动至系统目录
```
---
### **5. 配置环境变量**
编辑 `~/.bashrc`，添加以下内容：
```bash
export
JAVA_HOME=/usr/lib/
jvm/
java-8
-openjdk
-amd64 # 根据实际路径修改
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
执行 `source ~/.bashrc` 使配置生效。
---
### **6. 修改Hadoop配置文件**
#### **1. hadoop
-env.sh**
```bash
# 修改
JAVA_HOME路径
echo "export
JAVA_HOME=${
JAVA_HOME}" >> $HADOOP_HOME/etc/hadoop/hadoop
-env.sh
```
#### **2. core
-site.xml**
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
#### **3. hdfs
-site.xml**
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value> <
!-- 单节点副本数为1
-->
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/data/datanode</value>
</property>
</configuration>
```
#### **4. mapred
-site.xml**
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
#### **5. yarn
-site.xml**
```xml
<configuration>
<property>
<name>yarn.nodemanager.aux
-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
---
### **7. 格式化HDFS**
```bash
hdfs namenode
-format # 首次安装必须执行
```
---
### **8. 启动Hadoop集群**
```bash
start
-dfs.sh # 启动HDFS
start
-yarn.sh # 启动YARN
# 或
使用组合
命令
start
-all.sh
```
---
### **9. 验证安装**
- **检查进程**：
```bash
jps # 应显示NameNode、DataNode、ResourceManager等进程
```
- **Web UI访问**：
- NameNode: `http://localhost:9870`
- ResourceManager: `http://localhost:8088`
---
### **10. 运行测试任务**
```bash
hdfs dfs
-mkdir /input
hdfs dfs
-put $HADOOP_HOME/etc/hadoop/*.xml /input
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop
-mapreduce
-examples
-3.3.6.jar wordcount /input /output
hdfs dfs
-cat /output/* # 查看结果
```
---
### **常见问题**
1. **
Java路径错误**：检查 `
JAVA_HOME` 是否与实际路径一致。
2. **SSH登录失败**：确保 `~/.ssh/authorized_keys` 权限为600。
3. **端口冲突**：检查 `9000`、`9870`、`8088` 端口是否被占用。
如果遇到问题，可查看日志文件：`$HADOOP_HOME/logs/`
博客主要讲述在Linux系统中，切换到root用户后，出现jps等Java命令找不到的问题，而普通用户可正常使用。解决方法是在root用户上执行source /etc/profile，之后使用java -version和jps命令可成功运行。
扫一扫
821
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
