hadoop环境搭建（三）

最新推荐文章于 2024-11-04 16:23:02 发布

陈永坤

最新推荐文章于 2024-11-04 16:23:02 发布

阅读量230

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/cyk2396/article/details/79266871

大数据专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了Hadoop集群从配置Java环境开始至最终启动各组件的全过程，包括环境准备、软件部署、配置详解及节点启动等关键环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0.配置java环境，主机名和ip的映射，ssh免密登录，关闭防火墙

1.上传hadoop包至apps下，然后解压缩:tar -zxvf hadoop.tar.gz

2.配置hadoop-env.sh:
export JAVA_HOME=/usr/java/jdk1.7.0_45
3.配置core-site.xml:

<property>
<name>fs.defaultFS</name>
<value>hdfs://linux1:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
4.配置hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
5.配置mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.配置yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7.将配置好的hadoop复制到其他机器中:
scp -r apps linux2:/home/hadoops/
8.配置hadoop环境变量:
vi /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

9.将hadoop配置文件拷贝到其他机器:
sudo scp /etc/profile linux2:/etc/
10.格式化namenode（是对namenode进行初始化）
hadoop namenode -format
11.启动namenode:
进入sbin目录下，hadoop-daemon.sh start namenode,打开页面:linux1:50070查看是否启动成功
关闭namenode:hadoop-daemon.sh stop namenode
12.启动datanode:
进入sbin目录下，hadoop-daemon.sh start datanode
关闭datanode:hadoop-daemon.sh stop datanode
13.将主机名添加到slaves文件中
14.脚本一次性启动hdfs:start-dfs.sh

15.脚本一次性启动yarn:start-yarn.sh

16.namenode的工作目录默认是在${hadoop.tmp.dir}/dfs/name下，在hdfs-site.xml配置，而hadoop.tmp.dir是在core-site.xml配置的
如果更改namenode的工作目录，则修改linux1中的hdfs-site.xml:
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name1,/home/hadoop/name2</value>
</property>
name1和name2中的内容完全一样，最好将name1和name2配置在不同的服务器中