Hadoop集群搭建

最新推荐文章于 2025-08-24 22:05:35 发布

原创最新推荐文章于 2025-08-24 22:05:35 发布 · 349 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hadoop集群 #centos

本文介绍如何在CentOS 6.5环境下搭建Hadoop 2.5.1单节点集群，并详细记录了从安装JDK到配置Hadoop环境变量的全过程。文中还提供了具体步骤，如关闭防火墙、配置SSH免密登录、设置主机名等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习笔记：
Centos6.5搭建hadoop2.5.1，本文为single node setup，可参照
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html，
其中yarn，zookeeper，JournalNode等搭建高可用、高并发将在后续记录。
至少准备3台机器：
1. 安装JDK，JDK版本为1.7，配置环境变量
2. 修改主机名，/etc/sysconfig/network
3. 关闭防火墙，service iptables stop，chkconfig iptables off
4. 配置/etc/hosts文件
这里配置了4台机器，角色如下：
node4：namenode
node5：secondary，datanode
node6：datanode
node7：datanode
5. 配置ssh免密登录
6. 下载安装hadoop并配置
1).tar –zxvf *在namenode解压（例如，放到/home目录下）
2).配置/home/hadoop-2.5.1/etc/hadoop/hadoop-env.sh，加入JDK目录
这里写图片描述
3).配置/home/hadoop-2.5.1/etc/hadoop/core-site.xml，namenode主机名和端口、hadoop的tmp目录。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node4:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.5</value>
    </property>
</configuration>

这里写图片描述
4).配置/home/hadoop-2.5.1/etc/hadoop/hdfs-site.xml，secondary的http和https主机名、端口

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node5:50090</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.https-address</name>
        <value>node5:50091</value>
    </property>
</configuration>

这里写图片描述
5). 配置/home/hadoop-2.5.1/etc/hadoop/slaves，datanode主机名

6). 配置/home/hadoop-2.5.1/etc/hadoop/masters（该文件需自己创建），secondary主机名

7. 将hadoop配置环境变量，~/.bash_profile

export HADOOP_HOME=/home/hadoop-2.5.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

这里写图片描述
8. 将~/.bash_profile和hadoop整个目录复制到所有hadoop集群机器上，source ~/.bash_profile
9. 格式化hadoop目录，hdfs namenode –format；启动hdfs，start-dfs.sh
node4:50070打开namenode的web监控页面，查看hadoop集群运行状态