任务4：Hadoop集群配置与启动详细教程

Hadoop集群配置与启动指南

原创已于 2025-10-15 16:36:47 修改 · 594 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #eclipse #大数据

于 2025-10-15 11:13:26 首次发布

1. 环境准备

1.1 系统要求

CentOS 7 系统
Java JDK 1.8+
Hadoop 3.x版本

1.2 前置条件

在开始配置前，请确保已完成：

系统网络配置
SSH免密登录设置
Java环境安装

2. Hadoop安装

2.1 下载Hadoop

# 下载Hadoop 3.3.6
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

# 解压到指定目录
tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/

# 创建软链接
cd /usr/local
ln -s hadoop-3.3.6 hadoop

2.2 配置环境变量

# 编辑/etc/profile文件
vim /etc/profile

# 添加以下内容
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

# 使配置生效
source /etc/profile

3. Hadoop核心配置

3.1 配置hadoop-env.sh

cd $HADOOP_HOME/etc/hadoop
vim hadoop-env.sh

# 设置Java路径
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/usr/local/hadoop

3.2 配置core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

3.3 配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

3.4 配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.5 配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

4. 启动Hadoop集群

4.1 格式化HDFS

# 首次使用需要格式化NameNode
hdfs namenode -format

4.2 启动HDFS和YARN

# 启动HDFS服务
start-dfs.sh

# 验证HDFS进程
jps

# 启动YARN服务
start-yarn.sh

# 验证YARN进程
jps

5. 验证集群状态

5.1 检查HDFS状态

# 查看HDFS状态
hdfs dfsadmin -report

# 测试HDFS操作
hdfs dfs -mkdir /test
hdfs dfs -put localfile.txt /test/
hdfs dfs -ls /test

5.2 检查YARN状态

# 查看YARN节点
yarn node -list

# 查看YARN应用
yarn application -list

6. 常见问题解决

6.1 jps命令找不到

# 安装JDK开发包
yum install -y java-1.8.0-openjdk-devel

# 或者手动下载rpm安装
wget [JDK开发包URL]
rpm -ivh java-1.8.0-openjdk-devel-*.rpm

6.2 端口占用问题

# 查看端口占用
netstat -tunlp | grep 9000

# 杀死占用进程
kill -9 [PID]

6.3 权限问题

# 创建必要的目录并授权
mkdir -p /usr/local/hadoop/{tmp,hdfs/{name,data}}
chown -R hadoop:hadoop /usr/local/hadoop

配置过程中遇到问题时，注意检查日志文件（位于$HADOOP_HOME/logs目录）来定位具体错误原因。