Hadoop安装-分布式-Fully

最新推荐文章于 2025-12-03 23:52:10 发布

原创最新推荐文章于 2025-12-03 23:52:10 发布 · 186 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #分布式 #hdfs #大数据 #mapreduce

本文详细介绍了Hadoop在分布式模式下的安装步骤，包括系统配置、环境变量设置、关键配置文件编辑等，最后还提供了启动与验证的方法。

Hadoop安装-分布式-Fully

〇、所需资料

一、配置

1、基础配置

(1)系统安装

(2)hostname主机名配置

(3)ip地址、dns、hosts映射文件配置

(4)关闭防火墙与selinux

(5)开启ntpd时钟同步

(6)jdk安装与环境变量配置

(7)机器克隆、配置

(8)ssh免密设置

2、部署配置

(1)包含内容

Untitled

(2)hadoop环境变量配置

vi /etc/profile

(3)etc/hadoop下配置-core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/bigdata/tmp/hadoop/full</value>
</property>
</configuration>

(4)etc/hadoop下配置-hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/data</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop02:50090</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/secondary</value>
</property>
</configuration>

(3)etc/hadoop下配置-slave配置dn