hadoop集群搭建

转载 已于 2025-09-22 16:28:51 修改 · 32 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/m0_67391683/article/details/123935937
文章标签：

#hadoop #大数据 #分布式

于 2025-09-22 16:26:21 首次发布

目录

一、虚拟机基础搭建

二、hadoop服务

1、服务器配置ssh免密码登录

2、检查并关闭防火墙

3、安装JDK

4、安装MYSQL（不使用Hive元数据做存储，可不安装）

5、下载安装hadoop

一、虚拟机基础搭建

此处跳过基础虚拟机安装流程，可自行查阅，参考：linux-Centos-7-64位：0、 虚拟机环境搭建

搭建三台虚拟机，IP如下

192.168.152.151 hadoop-master

192.168.152.152 hadoop-slave1

192.168.152.153 hadoop-slave2

并将其配置到hosts文件，包装三台能互相PING通

二、hadoop服务

192.168.152.151192.168.152.152192.168.152.153
        HDFS        DataNode NameNodeDataNodeDataNode SecondaryNameNode
         YARN        NodeManagerNodeManager ResourceManagerNodeManager

1、服务器配置ssh免密码登录

在root用户下输入

# ssh-keygen -t rsa

一路回车

秘钥生成后在~/.ssh/目录下，有两个文件id_rsa(私钥)和id_rsa.pub（公钥），将公钥复制到authorized_keys并赋予authorized_keys600权限

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# chmod 600 ~/.ssh/authorized_keys

同理在slave1和slave2节点上进行相同的操作，然后将公钥复制到master节点上的authoized_keys

将master节点上的authoized_keys远程传输到slave1和slave2的~/.ssh/目录下

# scp ~/.ssh/authorized_keys root@hadoop-slave1:~/.ssh/

# scp ~/.ssh/authorized_keys root@hadoop-slave2:~/.ssh/

检查是否免密登录（第一次登录会有提示）

2、检查并关闭防火墙

详细可参考：linux-Centos-7-64位：3、 firewalld 配置

查看状态

# systemctl status firewalld

停止：

# systemctl stop firewalld

禁止防火墙开机启动：

# systemctl disable firewalld.service

3、安装JDK

可参考：linux-Centos-7-64位：1、 安装JAVA环境

4、安装MYSQL（不使用Hive元数据做存储，可不安装）

可参考：linux-Centos-7-64位：4、 mysql安装

5、下载安装hadoop

官网地址：https://dlcdn.apache.org/hadoop/common/

此处下载 hadoop-3.4.1.tar.gz

创建目录 hadoop，上传压缩包并解压

# mkdir /usr/local/hadoop

# cd /usr/local/hadoop

# tar -zxvf hadoop-3.4.1.tar.gz

进入目录查看版本

# cd hadoop-3.4.1/

# ./bin/hadoop version

配置环境变量，新建脚本（也可以直接写在 /etc/profile 内 ，跟JAVA_HOME放一起）

# vim /etc/profile.d/hadoop.sh

#写入如下配置

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.4.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#使配置生效

# source /etc/profile

#查看是否生效，有输出版本就生效了

# hadoop version

建立目录，在 /usr/local/hadoop/hadoop-3.4.目录下，建立 tmp、hdfs/name、hdfs/data 目录

# mkdir /usr/local/hadoop/hadoop-3.4.1/tmp

# mkdir /usr/local/hadoop/hadoop-3.4.1/dfs

# mkdir /usr/local/hadoop/hadoop-3.4.1/dfs/data

# mkdir /usr/local/hadoop/hadoop-3.4.1/dfs/name

进入hadoop配置目录

# cd /usr/local/hadoop/hadoop-3.4.1/etc/hadoop

修改以下文件的配置

slaves 把所有从节点的主机名写到这儿就可以，这是告诉hadoop进程哪些机器是从节点。每行写一个，如下：

hadoop-slave1
hadoop-slave2

注：前提是你已经为每个节点进行了hostname的命名。而且每个节点的hosts文件你修改了本地dns的指向，让这些主机指向约定好的IP。然后每个节点的hosts文件保持同步。

workers 是指定HDFS上有哪些DataNode节点

hadoop-master
hadoop-slave1
hadoop-slave2

hadoop-env.sh 启动参数和环境变量配置

# java_home若已配过，这里可以直接引用，否则应配置完整jdk路径
export JAVA_HOME=/usr/local/java/jdk-1.8
# 安装用的是root用户，所以这里都设置为root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/usr/local/hadoop/pids
export HADOOP_LOG_DIR=/usr/local/hadoop/logs

core-site.xml  核心配置，主要用于设置与 HDFS 和 Hadoop 集群的其他服务进行交互的参数。

<configuration>
    <!-- Hadoop核心配置 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master:8020</value>
        <description>指定 HDFS 的文件系统 URI。用于客户端访问 HDFS，所有的路径前缀都以此为基准。</description>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-3.4.1/tmp</value>
        <description>Hadoop 临时目录，用于存储临时数据、日志等。</description>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
        <description>设置 HDFS 文件 I/O 缓冲区的大小（字节）。默认值是 131072 字节（128KB）。（使用默认可不配置）</description>
       </property>

       <property>
              <name>hadoop.proxyuser.root.hosts</name>
              <value>*</value>
        <description>可以使用通配符值“*”来实现从任何主机进行身份冒充的功能,名为“root”的用户从任何主机访问时都可以冒充属于任何IP的地址。</description>
       </property>

       <property>
              <name>hadoop.proxyuser.root.users</name>
              <value>*</value>
        <description>可以使用通配符值“*”来实现从任何用户进行身份冒充的功能名为“root”的用户从任何主机访问时都可以冒充属于任何用户。</description>
       </property>

       <property>
              <name>hadoop.proxyuser.oozie.groups</name>
              <value>*</value>
        <description>可以使用通配符值“*”来实现从任何组进行身份冒充的功能名为“root”的组从任何主机访问时都可以冒充属于任何组的组。</description>
       </property>

</configuration>

hdfs-site.xml  包含 HDFS（Hadoop Distributed FileSystem）的配置项，涉及文件系统的行为、数据存储、复制等参数。

<configuration>
    <!-- HDFS 配置 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <description>指定 HDFS 文件的默认副本数。默认值是 3。（使用默认可不配置）</description>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hadoop-3.4.1/dfs/name</value>
        <description>HDFS NameNode 的数据存储路径。必须是本地文件路径。</description>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hadoop-3.4.1/dfs/data</value>
        <description>HDFS DataNode 的数据存储路径。也必须是本地文件路径。</description>
    </property>

    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
        <description>设置 HDFS 文件块大小，默认 128MB。调整此值有助于控制文件块大小。（使用默认可不配置）</description>
    </property>

    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop-master:9870</value>
        <description>配置NameNode web 的 HTTP 访问地址。</description>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop-slave2:9868</value>
        <description>配置 NameNode Secondary 的 HTTP 访问地址，允许管理员访问 NameNode 状态。</description>
    </property>

</configuration>

yarn-site.xml 包含 YARN（Yet Another Resource Negotiator）配置，主要用于集群资源管理、调度、应用程序提交等相关设置。

<configuration>

    <!-- YARN 配置 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-master:8030</value>
        <description>yarn总管理器调度程序的IPC通讯地址。</description>
    </property>

    <property>
        <name>yarn.resourcemanager.resource-tracker.address    </name>
        <value>hadoop-master:8031</value>
        <description>yarn总管理器的IPC通讯地址。</description>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop-master:8032</value>
        <description>RM 中应用程序管理器接口的地址，客户端通过此地址提交作业。</description>
    </property>

    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop-master:8033</value>
        <description>RM 管理界面地址</description>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop-master:8088</value>
        <description>yarn总管理器的web http通讯地址</description>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
        <description>设置 YARN 使用的调度器类型，常见的有 CapacityScheduler、FairScheduler。</description>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value>
        <description>每个 NodeManager 上可用的最大内存（单位：MB）。如果超出限制，YARN 不会调度新任务。</description>
    </property>

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/usr/local/hadoop/hadoop-3.4.1/tmp/nm-local-dir</value>
        <description>YARN NodeManager 本地存储目录，用于存储临时数据。</description>
    </property>

</configuration>

mapred-site.xml 用于配置 MapReduce 相关的设置，尤其是 MapReduce 任务的执行、调度和资源管理。

<configuration>

    <!-- MapReduce 配置 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>指定 MapReduce 运行框架为 YARN。可以选择 "local"（本地模式）、"yarn"（集群模式）等。</description>
    </property>

    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
        <description>为 Map 任务分配的内存大小，单位为 MB。（使用默认值可不配）</description>
    </property>

    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
        <description>为 Reduce 任务分配的内存大小，单位为 MB。（使用默认值可不配）</description>
    </property>

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop-master:10020</value>
        <description>MapReduce历史记录服务器IPC地址</description>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop-master:19888</value>
        <description>MapReduce历史记录服务器WEB-UI地址</description>
    </property>

</configuration>

capacity-scheduler.xml 用于配置 YARN 的容量调度器，尤其是在多租户（多集群）环境下，调整集群资源分配策略

（此配置一般有默认配置好的，不需要修改可以跳过）

<configuration>

    <!-- YARN 容量调度器配置 -->
    <property>
        <name>yarn.scheduler.capacity.root.default.capacity</name>
        <value>50</value>
        <description>设置默认队列的资源容量百分比。</description>
    </property>

    <property>
        <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
        <value>80</value>
        <description>设置默认队列的最大资源容量百分比。</description>
    </property>

    <property>
        <name>yarn.scheduler.capacity.root.default.state</name>
        <value>RUNNING</value>
        <description>设置默认队列的状态。可以是 RUNNING、STOPPED 等。</description>
    </property>

</configuration>

将配置好的hadoop文件复制到其他节点上

# scp -r /usr/local/hadoop/ root@hadoop-slave1:/usr/local/

# scp -r /usr/local/hadoop/ root@hadoop-slave2:/usr/local/

如果集群第一次启动，需要在NameNode(192.168.152.151)机器上格式化NameNode，进入bin目录，执行格式化命令

# ./hdfs namenode -format

初始化成功如下：

进入sbin目录，执行启动

# ./start-all.sh

启动报错：ERROR:  namenode can only be executed by root

说明hadoop被安装给root用户了, 需要使用 root 运行

# su –

再次执行，成功

访问页面： http://192.168.152.151:9870/

访问页面： http://192.168.152.151:8088/

 参考文章：

官网配置（推荐）

hadoop集群搭建（超详细版）https://blog.youkuaiyun.com/m0_67391683/article/details/123935937

hadoop集群搭建

Hadoop重要配置文件

Hadoop 的配置文件说明

Leopard锋
关注
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
Hadoop集群搭建
lydms的博客
02-09 2万+
Hadoop官方网站：http://hadoop.apache.org/Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。
Hadoop集群搭建（详细版）
qq_73824705的博客
10-01 1万+
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名。进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。打开xshell，hadoop101、hadoop102、hadoop103建立连接。打开ens33并修改主机名为hadoop101，点击完成，开始安装。
Hadoop集群搭建详细步骤总结
ITHomeZSL的博客
08-11 653
以上是Hadoop集群搭建的详细步骤，根据实际环境和需求，可能需要进行适当调整。
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 4160
Hadoop集群搭建详细教程
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 8万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1664
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop 集群搭建
yuyu的博客
03-24 2407
使用三台虚拟机，搭建一个 Hadoop 集群
Hadoop集群搭建保姆级教学
2301_80956509的博客
12-16 953
SSH无密码登录失败可能由以下原因导致:1. SSH配置错误:文件配置错误: 例如，PasswordAuthentication 选项设置为 no，则禁止使用密码登录，导致无法使用 ssh-copy-id 进行无密码登录。选项设置为 no**: 则禁止 root 用户使用 SSH 登录，需要使用普通用户登录后切换到 root 用户。
CentOS7 hadoop集群搭建
qq_41103051的博客
09-13 2852
CentOS7 hadoop集群搭建
精选资源
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
Python大数据可视化：基于大数据技术的共享单车数据分析与辅助管理系统_flask+hadoop+spider
最新发布
2509_94106548的博客
11-30 562
在搭建过程中，最开始的工作是从查阅相关资料开始的，通过在互联网的共享单车数据分析与辅助管理系统资料查询和阅读，对整个共享单车数据分析与辅助管理系统有了整体的概念了解，然后对本共享单车数据分析与辅助管理系统进行分析设计，本次共享单车数据分析与辅助管理系统的诉求是实现用户的基本需求，所以在设计时，整个系统功能模块十分简洁，系统为管理员和用户二大结构模块。在系统具体实现过程中，先把系统数据库搭建，然后进行功能模块的代码编译，最后将所有模块进行整合，形成完整的共享单车数据分析与辅助管理系统。
Spring Ai Alibaba DataAgent 元数据标注能力集成
a_ittle_pan的博客
11-26 1462
dataagent 项目需要解决**"库表数据检索精准性不足"**的问题。通过元数据标注补充库表的业务含义、结构信息、技术属性等描述，让检索能基于业务域、场景、表结构等维度筛选匹配。columns所有自定义字段的键名必须以custom_"custom_business_owner": "订单业务团队"A: 不可以。自定义字段的值类型限制为：字符串、数字、布尔值、数组（字符串或数字）。如果需要复杂结构，建议使用可选模块扩展。
后端在分布式中的Apache Kafka
2509_93945680的博客
11-28 389
比如我们有一次做促销活动，突然流量暴涨，临时加了几台消费者实例，Kafka自动把分区负载均衡过去，系统愣是没抖一下。另外，Kafka的消息持久化机制也靠谱，数据在磁盘上存着，就算消费者宕机了，重启后还能从上次的位置继续读，不怕数据玩失踪。另外，Kafka的监控也得跟上，光靠默认配置容易漏掉性能瓶颈。举个例子，我们项目里把用户点击事件塞进Kafka主题，下游的风控服务和数据分析服务各取所需，谁也不用等谁，效率直接翻倍。总之，技术选型得量体裁衣，先把Kafka的核心机制摸透，再往架构里套，才能少走弯路。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1825
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
hive-----广电大数据分析
2401_87586917的博客
11-26 908
1．创建存储格式为TextFile的观看历史表text_see和用户信息表text_user（用于存储原始数据）。并创建存储格式为ORC的表orc_see和orc_user。12. 对orc_see表按照用户Group By聚合，然后统计组内的时长即可。3. 用户信息文件userevents.txt存储在本地系统/opt/datas目录下，将其导入表text_user中。5. 将表text_user中数据加载到表orc_user中。4. 将表text_see中数据加载到表orc_see中。
n8n实战营Day3：电商订单全流程自动化·需求分析与流程拆解
陈奕昆的博客
11-29 1120
本文详细拆解了电商订单处理全流程自动化方案，针对手动操作存在的三大核心痛点：多平台订单整合效率低、库存同步滞后风险高、物流信息推送不及时。通过n8n工作流设计，将流程划分为6大环节（订单抓取、数据清洗、订单去重、库存处理、物流对接、信息推送），并给出节点选型建议和关键配置要点。重点强调数据标准化的重要性，包括字段映射规范和传递规则，为后续实操提供清晰的"施工蓝图"。下节将进入实操阶段，重点讲解多平台订单抓取和ERP对接的具体实现。
hadoop 集群搭建
03-29
首先，我需要回忆之前学过的Hadoop集群搭建知识，确保步骤正确。记得Hadoop集群通常分为完全分布式模式，需要多台机器，比如hadoop102、hadoop103、hadoop104这样的命名。用户提供的引用里提到了设置这些节点，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值