部署hadoop集群需要配置的文件

最新推荐文章于 2022-05-10 14:40:28 发布

原创最新推荐文章于 2022-05-10 14:40:28 发布 · 551 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

21 篇文章

订阅专栏

本文介绍了部署Hadoop集群的详细过程，包括修改主机名、配置主机名解析、设置环境变量、配置core-site.xml和hdfs-site.xml，以及定义masters和slaves节点。通过这些步骤，确保集群的正确运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、修改主机名：vi /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=hadoop

二、修改主机名解析配置文件：vi /etc/hosts

# Do not remove the following line, or various programs
# that require network functionality will fail.
#127.0.0.1 localhost.localdomain localhost
192.168.182.129 hadoop
192.168.182.128 datanode1

三、向以下文件中添加如下内容：

1、hadoop-env.sh

export JAVA_HOME=/usr/program/java/jdk1.6.0_24

2、core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadooptmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
</configuration>

3、hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/datanode</value>
</property>
</configuration>

4、masters

hadoop

5、slaves

datanode1