hadoop2.7.4 完全分布式搭建(4台)

最新推荐文章于 2025-05-25 00:42:05 发布
原创 最新推荐文章于 2025-05-25 00:42:05 发布 · 1.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何构建Hadoop HA高可用集群，包括四台主机的配置、zookeeper集群搭建、Hadoop集群安装与初始化步骤等关键技术环节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 集群的规划

描述：hadoop HA机制的搭建依赖与zookeeper，所以选取三台当作zookeeper集群，总共准备了4台主机，分别是hadoop01,hadoop02,hadoop03,hadoop04，其中hadoop01和hadoop02做namenode主备的切换，hadoop03和hadoop04作为resourcemanager的切换。

四台主机配置
 hadoop01hadoop02hadoop03hadoop04
namenode✓✓  
datanode✓✓✓✓
resourcemanager  ✓✓
nodemanager✓✓✓✓
zookeeper✓✓✓ 
journalnode✓✓✓ 
zkfc✓✓  

2. 集群服务器的准备

  1. 修改主机名和主机IP
  2. 添加主机名和IP映射
  3. 添加普通用户到sudoers权限
  4. 设置服务启动级别
  5. 同步Linux时间
  6. 关闭防火墙
  7. 配置SSH免密登陆
  8. 安装JDK
  • 修改主机名和IP
    修改虚拟机中的Linux IP，首先查看虚拟机Vmnet8网络设置，其中我的网关是192.168.146.2

    然后修改本地VMnet8网络设置:

    接着修改Linux网络设置(Redhat6.5)：

    修改好IP后修改主机名：
    1. 修改hosts配置： 
    [root@hadoop01 hyotei]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.146.100 hadoop01
192.168.146.101 hadoop02
192.168.146.102 hadoop03
192.168.146.103 hadoop04


##因为我使用了4台主机，所以将4台主机名及IP都加入##

    2.修改network设置：

    [root@hadoop01 hyotei]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop01

    之后重启即可

  • 添加windows主机名和映射：
    我是用的是sublime text 打开windows 下的hosts文件，首先右击sublime使用管理员身份打开，然后从sublime中找到windows下的hosts文件（C:\Windows\System32\drivers\etc\hosts）

    192.168.146.100	hadoop01
192.168.146.101	hadoop02
192.168.146.102	hadoop03
192.168.146.103	hadoop04

    将以下内容添加到文件中，然后重启电脑即可

  • 添加用户到sudoers  参考：https://blog.youkuaiyun.com/eldn__/article/details/26767997

  • Linux 同步时间：https://blog.youkuaiyun.com/W77_20/article/details/79125859

  • 关闭防火墙（不同的操作系统关闭指令有些差别）：https://blog.youkuaiyun.com/qq_34989708/article/details/73603638

  • 设置SSH免密登陆：

    [root@hadoop01 hyotei]# ssh-keygen -t rsa       (这个是用来生成密钥对的)
[root@hadoop01 hyotei]# ssh-copy-id hadoop02

这样hadoop01就可以利用ssh 远程登陆hadoop02

  • 安装JDK : https://www.cnblogs.com/Dylansuns/p/6974272.html

3. 集群的安装

  1. 安装zookeeper，下载地址：http://www-eu.apache.org/dist/zookeeper/
    1.1 首先解压zookeeper文件 
    [hyotei@hadoop01 ~]$ tar zookeeper-3.4.6.tar.gz -C /usr/app

解压到/usr/app文件夹下

    1.2 配置zoo.cfg文件：

    [hyotei@hadoop01 ~]$cd zookeeper-3.4.6/conf/
[hyotei@hadoop01 ~]$mv zoo-sample.cfg zoo.cfg
[hyotei@hadoop01 ~]$vi zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/home/hyotei/opt/zookeeper       (制定zookeeper产生文件的目录)
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=hadoop01:2888:3888   
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

    将zookeeper文件拷贝到hadoop02与hadoop03上去

    [hyotei@hadoop01 ~]$scp -r zookeeper-3.4.6 hadoop02:/home/hyotei/zookeeper-3.4.6
[hyotei@hadoop01 ~]$scp -r zookeeper-3.4.6 hadoop03:/home/hyotei/zookeeper-3.4.6

    1.3配置myid，在hadoop01中：
    在该文件夹下执行：

    [hyotei@hadoop01 zookeeper]$mkdir data
[hyotei@hadoop01 zookeeper]$echo 1 > myid

    在hadoop02，hadoop03下类似的执行

    [hyotei@hadoop02 zookeeper]$echo 2 > myid
[hyotei@hadoop03 zookeeper]$echo 3 > myid

    1.4为方便zookeeper启动，将zookeeper添加大环境变量中：

    [hyotei@hadoop01 zookeeper]$sudo vi /etc/profile

添加
export ZK_HOME=/home/hyotei/hadoop/zookeeper-3.4.6/
export PATH==${JAVA_HOME}/bin:${ZK_HOME}/bin:$PATH

[hyotei@hadoop01 zookeeper]$source /etc.profile
[hyotei@hadoop01 zookeeper]$zkServer.sh start     （启动zk）
[hyotei@hadoop01 zookeeper]$zkServer.sh status     （查看zk状态）
[hyotei@hadoop01 zookeeper]$zkServer.sh stop     （停止zk）

  2. 安装hadoop集群（下载地址：http://www-us.apache.org/dist/hadoop/common/）
    2.1解压

    [hyotei@hadoop01 ~]$tar -zxvf hadoop-2.7.4.tar.gz -C /usr/app/hadoop-2.7.4

    2.2修改配置文件:配置文件在/hadoop-2.7.4/etc/hadoop下
    2.2.1修改hadoop-env.sh:

    [hyotei@hadoop01 hadoop]$ vi hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171/      (将自己JAVA_HOME位置手动添加)

JAVA_HOME位置可使用查到： echo $JAVA_HOME

    2.2.2修改core-site.xml:

    <configuration>
<!-- 指定 hdfs 的 nameservice 为 myha01 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://myhadoop/</value>
</property>
<!-- 指定 hadoop 工作目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
</property>
<!-- 指定 zookeeper 集群访问地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>

    2.2.3修改hdfs-site.xml：

    <configuration>
<!-- 指定副本数 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--指定 hdfs 的 nameservice 为 myhadoop，需要和 core-site.xml 中保持一致-->
<property>
<name>dfs.nameservices</name>
<value>myhadoop</value>
</property>
<!-- myhadoop 下面有两个 NameNode，分别是 nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.myhadoop</name>
<value>nn1,nn2</value>
</property>
<!-- nn1 的 RPC 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.myhadoop.nn1</name>
<value>hadoop01:9000</value>
</property>
<!-- nn1 的 http 通信地址 -->
<property>
	<name>dfs.namenode.http-address.myhadoop.nn1</name>
<value>hadoop01:50070</value>
</property>
<!-- nn2 的 RPC 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.myhadoop.nn2</name>
<value>hadoop02:9000</value>
</property>
<!-- nn2 的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.myhadoop.nn2</name>
<value>hadoop02:50070</value>
</property>
<!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/myhadoop</value>
</property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/data/journaldata</value>
</property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<!-- 此处配置在安装的时候切记检查不要换行-->
<property>
<name>dfs.client.failover.proxy.provider.myhadoop</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hyotei/.ssh/id_rsa</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

    2.2.4修改mapred-site.xml:(需要先将mapred-site.xml.template改名mapred-site.xml)

    <configuration>
<!-- 指定 mr 框架为 yarn 方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 设置 mapreduce 的历史服务器地址和端口号 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<!-- mapreduce 历史服务器的 web 访问地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>
</configuration>

    2.2.5修改yarn-site.xml:

    <configuration>
<!-- 开启 RM 高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定 RM 的 cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定 RM 的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定 RM 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop03</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop04</value>
</property>
<!-- 指定 zk 集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<!-- 要运行 MapReduce 程序必须配置的附属服务 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 开启 YARN 集群的日志聚合功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- YARN 集群的聚合日志最长保留时长 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
<!-- 启用自动恢复 -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1536</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>

    2.2.6修改slaves:

    [hyotei@hadoop01 hadoop]$ vi slaves
添加datanode结点地址：
hadoop01
hadoop02
hadoop03
hadoop04

    2.2.7分发安装包到其他机器：

    scp -r hadoop-2.7.4 hadoop02:/home/hyotei/hadoop-2.7.4
scp -r hadoop-2.7.4 hadoop03:/home/hyotei/hadoop-2.7.4
scp -r hadoop-2.7.4 hadoop04:/home/hyotei/hadoop-2.7.4

    2.2.8每台机器上分别配置环境变量：

    [hyotei@hadoop01 ~]$ sudo vi /etc/profile
添加
export HADOOP_HOME=/home/hyotei/hadoop-2.7.4
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:$PATH

保存退出
[hyotei@hadoop01 ~]$ source /etc/profile

  3. 集群初始化（严格要求）：
    3.1先启动zookeeper（hadoop01,hadoop02,hadoop03）都需要启动

    [hyotei@hadoop01 ~]$zkServer.sh start
[hyotei@hadoop01 ~]$zkServer.sh status    （检查是否启动成功）

    3.2分别启动journalnode:

    [hyotei@hadoop01 ~]$hadoop-daemon.sh start journalnode
[hyotei@hadoop02 ~]$hadoop-daemon.sh start journalnode
[hyotei@hadoop03 ~]$hadoop-daemon.sh start journalnode

    jps检查是否有jurnalnode 进程
    3.3第一个namenode节点进行初始化操作：

    [hyotei@hadoop01 ~]$hadoop namenode -format

    然后会在 core-site.xml 中配置的临时目录中生成一些集群的信息，把他拷贝的第二个 namenode 的相同目录下

    <name>hadoop.tmp.dir</name>
<value>/home/hyotei/hadoop-2.7.4/data/hadoopdata/</value>
    [hyotei@hadoop01 hadoop-2.7.4]$scp -r ./data/hadoopdata/ hadoop02:/home/hyotei/hadoop-2.7.4/data
或者第二个节点
[hyotei@hadoop02 ~]$hadoop namenode -bootstrapStandby

    3.4格式化zkfc（第一台机器上即可）：

    [hyotei@hadoop01 hadoop-2.7.4]$hdfs zkfc -formatZK

    3.5启动HDFS:

    [hyotei@hadoop01 hadoop-2.7.4]$start-dfs.sh

    JPS查看各节点进程是否启动正常：依次为 1234 四台机器的进程
    web访问页面：第一个namenode      http://hadoop01:50070
                                第二个namenode      http://hadoop02:50070
    3.6 hadoop03上启动YARN:

    [hyotei@hadoop03 hadoop-2.7.4]$start-yarn.sh

    若备用节点的 resourcemanager 没有启动起来，则手动启动起来：

    [hyotei@hadoop04 hadoop-2.7.4]$yarn-daemon.sh start resourcemanager

    resourcemanager的web页面：http://hadoop03:8088 
    hadoop04 是 standby resourcemanager，会自动跳转到 hadoop03

  4. 查看各个namenode和resourcemanager节点状态：

    [hyotei@hadoop01 hadoop-2.7.4]$hdfs haadmin -getServiceState nn1
active
[hyotei@hadoop01 hadoop-2.7.4]$hdfs haadmin -getServiceState nn2
standby
[hyotei@hadoop01 hadoop-2.7.4]$yarn rmadmin -getServiceState rm1
active
[hyotei@hadoop01 hadoop-2.7.4]$yarn rmadmin -getServiceState rm2
standby

  5. 启动 mapreduce 任务历史服务器:

    [hyotei@hadoop01 hadoop-2.7.4]$ mr-jobhistory-daemon.sh start historyserver

    按照配置文件配置的历史服务器的 web 访问地址去访问：http://hadoop01:19888 

  6. 初始化后再次启动hadoop集群顺序：
    zkServer.sh start  (三台)  => start-dfs.sh (第一个namenode节点)=> start-yarn.sh (hadoop03上) => yarn-daemon.sh start resourcemanager (一般备用的resourcemanger 总是启动不了需要手动启动)

  7. 如果存在有的机器namenode 或则datanode节点没有启动的了，可以尝试 :

    [hyotei@hadoop01 hadoop-2.7.4]$hadoop-daemon.sh start namenode
[hyotei@hadoop01 hadoop-2.7.4]$hadoop-daemon.sh start datanode

  8. 如果尝试启动的节点仍然会消失或者在初始化或启动不成功，可以查看对应机器的hadoop日志：
    日志文件存在与/hadoop-2.7.4/logs文件夹下：

    假设hadoop01下的namenode没有启动成功，那就执行：

    [hyotei@hadoop01 logs]$ less hadoop-hyotei-namenode-hadoop01.log

    查看error

 

 

Hadoop集群搭建教程（完全分布式）
qq_28840013的博客
03-17 1628
环境准备： 本案例使用VMware Workstation Pro虚拟机创建服务器来搭建Hadoop集群，所用软件及版本及简要配置方法如下： 1.VMware Workstation Pro15.5.1（推荐使用15以上版本，感觉优化比14好了许多） 2.Ubuntu16.04 64bit（3台，用户名均为Hadoop，主机名分别为node-1，node-2，node-3） 注意：三台虚拟机用户名...
Hadoop集群搭建
这家伙什么也没留下!
05-26 621
Hadoop运行模式 Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站：Apache Hadoop 完全分布式运行模式搭建 第一章:服务器准备 1 准备三台服务，配置要求如下： 单台：内存4G，硬盘50G，安装必要环境 2 修改主机名（3台服务器） [root@master ~]# vi /etc/hostname 3关闭防火墙 [root@master ~]#systemctl stop firewalld [root@mast..
hadoop-2.7.4.tar.gz
12-04
hadoop-2.7.4.tar.gz-Hadoop客户端压缩包
资深架构师分享：Hadoop2.7.4完全分布式集群构建实战总结
Peter_Changyb的博客
07-25 3524
配置Linux环境 配置好各虚拟机的网络（采用NAT联网模式） 通过Linux图形界面进行修改(桌面版本Centos)：进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections-> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual ->点击ad...
Hadoop入门学习（一）—— HDFS分布式文件系统
最新发布
weixin_44361163的博客
05-25 1519
Hadoop是一个Apache基金会所开发的分布式系统基础架构主要解决：海量数据的存储和分析计算问题Hadoop的优势：（1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。（2）高扩展性：在集群间分配任务数据，可方便的扩展数以干计的节点。（3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。（4）高容错性：能够自动将失败的任务重新分配。Hadoop的功能主要有三个：分布式存储、计算和调度。
Hadoop-2.7.4 集群快速搭建
weixin_33979363的博客
09-19 156
Hadoop简介 2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制，一个微缩版：Nutch Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。2006 年 3 月份，Map-Reduce 和 Nutch Distrib...
Hadoop-2.7.4 八节点分布式集群安装
FontTian的博客
09-10 1912
先感叹一下准备因为之前已经有安装经验了（虚拟机的三节点分布式，按过几次），再加上对Ubuntu还算比较熟悉中间也算少踩了不少坑。因为这次主要是老师要求所以，才打算再自己安装一次apche hadoop版本，其实现在我个人还是更支持CDH搭建大数据开发平台的，但是最近时间略紧，国庆节再弄吧。后来想着之前虚拟机和伪分布式练习语法已经足够了，这次要来就是直接来能工程运用的，于是安装八节点的Hadoop-2
Win10上操作Hadoop的配置文件hadoop2.7.4.rar
10-10
伪分布式模式是单机模拟集群环境，而完全分布式模式则需要多台计算机共同工作。配置文件需要根据所选模式进行相应设置，如设置namenode和datanode的主机地址、端口号以及指定HDFS的副本数量等。 除了基本的HDFS操作...
Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）
Mr.Cao
01-30 2905
目录 Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）. 1 前期配置. 2 安装jdk 5 安装zookeeper 7 安装hadoop 8 启动集群. 17 安装hbase 21 安装hive 27 安装Flume 34 安装kafka 37 安装spar...
Windows平台Hadoop 2.7.4二进制文件发布
- 完全分布式模式（Fully Distributed Mode）：Hadoop守护进程在多个机器上运行。 【知识点五：Hadoop核心组件解析】 - Hadoop Common：包含Hadoop运行所需要的共通组件，包括配置文件、日志记录等。 - HDFS：...
hadoop-2.7.4-with-centos-6.7.tar.gz
08-07
centos6.7下编译的Hadoop-2.7.4，亲测可用，版本稳定，可用作Hadoop学习使用。
hadoop-2.7.4-with-windows
03-27
hadoop-2.7.4-with-windows, hadoop-2.7.4windows编译版
hadoop-2.7.4-with-windows.tar.gz
08-07
windows下编译的Hadoop2.7.4，使用方法简单直接解压到本地即可，解决在本地运行mapreduce程序连接不到hadoop客户端的问题。
Hadoop 2.7.4 Windows 7 64位 解压就能用（包含winutils.exe, hadoop.dll等）
12-22
解决hadoop版本不同而引起的org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V, Could not locate executable null \bin\winutils.exe in the hadoop binaries
4台服务器搭建Hadoop集群
No.⑩號²º¹4
02-18 2171
首先在虚拟机中安装CentOS-6.4。 本人安装了3台CentOS-6.4，并且可以通过网关192.168.188.1可以互相通信。 CentOS-6.4-1 ： 192.168.188.128 CentOS-6.4-2 ： 192.168.188.129 CentOS-6.4-3 ： 192.168.188.130 系统环境准备完毕。
Hadoop2.7.4集群搭建
Demon的博客
11-13 1183
HDFS：分布式文件系统 MAPREDUCE：分布式运算程序开发框架 HIVE：基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作 HBASE：基于HADOOP的分布式海量数据库 ZOOKEEPER：分布式协调服务基础组件 Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库 Oozie：工作流调度框架 Sqoop：数据导入导出...
Hadoop 2.7.4 完全分布式安装与部署
Little_fxc的博客
09-13 2894
title: Hadoop 完全分布式安装与部署 date: 2020-09-03 16:10:22 categories: 大数据 tags: hadoop 文章目录Hadoop 完全分布式安装与部署服务器准备修改主机名修改服务器静态IP修改 hosts安装 JDK8增加 dhfs 用户设置 SSH 无密码登录安装部署 Hadoop切换至 hdfs 用户下载解压修改环境变量修改 Hadoop 配置配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置 sla.
Ubuntu下Hadoop2.4完全分布式搭建指南
搭建Hadoop完全分布式环境是一个复杂的过程，涉及到多台机器的集群配置、网络通信、故障排查以及性能优化等多个方面。对于初学者来说，建议仔细阅读官方文档，并在搭建过程中做好每一步的记录和测试，以便在遇到问题...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值