hadoop集群环境搭建(1)--单NameNode

最新推荐文章于 2023-04-09 20:45:25 发布

Kooola的博客

最新推荐文章于 2023-04-09 20:45:25 发布

阅读量447

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/z644041867/article/details/79236109

hadoop 专栏收录该内容

14 篇文章

订阅专栏

本文介绍如何在CentOS6.4环境下搭建Hadoop2.6.4集群，包括配置文件详解及环境变量设置等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境

操作系统：Centos 6.4

jdk: 1.7.79

hadoop: 2.6.4

三台主机：mini01(namenode) +mini02(datanode) +mini03(datanode)

部署

一、解压hadoop-2.6.4.tar.gz

tar -zxvf hadoop-2.6.4.tar.gz

二、配置文件修改

修改5个文件：hadoop-env.sh、core-site.xml、hdfs.site.xml、mapred-site.xml、yarn-site.xml

1）打开etc/hadoop/hadoop-env.sh，配置jdk路径

export JAVA_HOME=/usr/local/jdk1.7.0_79/

2）打开etc/hadoop/core-site.xml，配置文件系统以及hadoop数据目录

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mini01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
</configuration>

3）打开etc/hadoop/hdfs.site.xml，配置副本个数（文件在hadoop中保存多少分）

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

4）打开etc/hadoop/mapred-site.xml，配置资源调度框架类型，此处使用yarn

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5) 打开etc/hadoop/yarn-site.xml,配置resource manager所在节点

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

6）将以上文件全部拷贝到其他两台机器，保证三台机器(mini01,mini02,mini03)配置一致

三、hadoop环境变量配置

1）vim /etc/profile 在文末加入

export HADOOP_HOME=/home/app/hadoop-2.6.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2）source /etc/profile

注：在三台机器上都执行以上操作

四、hadoop格式化

hadoop namenode -format

验证：此时看到/home/hadoop/hdpdata目录则为格式化成功

五、启动集群

1）启动namenode

hadoop-daemon.sh start namenode

2）启动datanode

hadoop-daemon.sh start datanode

3）验证

在网页上输入http://mini01:50070,看到如下界面即为成功（hadoop提供简单的web页面进行集群基本情况查看）

以上