Hadoop-3.1.1完全分布式集群搭建

最新推荐文章于 2025-01-24 11:12:56 发布
置顶 最新推荐文章于 2025-01-24 11:12:56 发布
阅读量2.8k 收藏 8
点赞数 2
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JoJoSIR/article/details/83268745
版权
本文详细介绍了如何在虚拟机环境下搭建Hadoop 3.1.1完全分布式集群，包括虚拟机配置、JDK安装、环境变量设置、主机间SSH免密登录以及Hadoop的下载、配置、格式化和启动过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、工作准备

1.虚拟机

  1. 安装Vmware
  2. 安装CentOs虚拟机三台
  • master 192.168.33.101
  • slave1 192.168.33.102
  • slave2 192.168.33.103

2.虚拟机配置

以master为例

  1. 修改主机名

    hostname master

  2. 配置静态ip
    修改ifcfg-eno16777736，该文件在/etc/sysconfig/network-scripts下
    在这里插入图片描述
    修改/etc/sysconfig/network，添加如下内容：

    NETWORKING=yes
    HOSTNAME=master
    GATEWAY=192.168.33.1

    修改/etc/resolv.conf，添加DNS

    nameserver 8.8.8.8

    使网络修改生效
    service network restart

  3. 安装JDK
    卸载原有的JDK

    rpm -qa | grep jdk #查看原有的JDK
rpm -e --nodeps java-XXX #卸载JDK

    安装JDK
    下载(官网下载，https://www.oracle.com/technetwork/java/javase/downloads/index.html)，解压

    wget url
    tar -zvxf jdk-XXXX

    设置环境变量，vim /etc/profile
    在这里插入图片描述
    使环境变量生效 source /etc/profile
    检验JAVA安装 java -version
    在这里插入图片描述
    该报错是权限问题导致的，所以赋予权限就可以完美解决了
    在这里插入图片描述

  4. 关闭防火墙

    systemctl start firewall
最低0.47元/天 解锁文章
VirtualBox中搭建Hadoop 3.1.1完全分布式集群环境(二)CentOS7中安装及配置Hadoop
ltbook的专栏
01-29 580
一、安装及配置java运行环境 1、安装OpenJDK1.8 #安装jdk #yum install java-1.8.0-openjdk-devel.x86_64 注：这里体验yum软件包管理工具： (1)查找包（1） #yum list | grep telnet-server (2)查找包（2） #yum search MySQL (3)安装MySQL(在CentOS7中叫Mari...
Hadoop生态圈框架部署（四）- Hadoop完全分布式部署
zcs2312852665的博客
11-01 1265
介绍在虚拟机hadoop1、hadoop2和hadoop3部署完全分布式Hadoop部署规划：hadoop1hadoop2hadoop3HDFSNameNodeDataNodeDataNodeYARN配置hadoop配置文件配置hadoop环境变量访问hadoop对应Web UI提供shell脚本自动化安装hadoop完全分布式。
hadoop最新版本3.1.1全量jar包
10-26
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar hadoop-yarn-client-3.1.1.jar hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient-3.1.1.jar hadoop-yarn-common-3.1.1.jar hadoop-client-minicluster-3.1.1.jar hadoop-mapreduce-client-app-3.1.1.jar hadoop-mapreduce-client-shuffle-3.1.1.jar hadoop-yarn-server-common-3.1.1.jar hadoop-client-runtime-3.1.1.jar hadoop-mapreduce-client-common-3.1.1.jar hadoop-mapreduce-client-uploader-3.1.1.jar
hadoop 3.1.1的集群搭建并完成高可用配置(详细版)
热门推荐
一只程序猿的修炼之旅
11-17 1万+
@关于hadoop 3.1.1 集群搭建（四个节点模式） 一、简介 hadoop是Apache基金会的一个顶级项目，本文以hadoop 3.1.1为例，讲述如何从零开始搭建好hadoop集群。 二、准备工作 1.安装平台 安装平台，是指hadoop软件需要搭建在linux系统中。国内有两大知名linux平台，分别是Ubuntu和Centos。 给出官网的下载地址： Ubuntu : https://...
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_89790786的博客
01-24 2648
，可直接点击链接前往官网下载，或者链接： 链接：https://pan.baidu.com/s/1LFvqn7adVsA9nnoOVGIpdg?4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。网络配置完成后，ping一下www.baidu.com，如果结果为如下结果，则表示网络配置成功。
hadoop3.1.1 完全分布式搭建
qq_18532033的博客
02-19 291
将/opt/hadoop-3.1.1 scp到node2、node3、node4的对应目录中 scp -r hadoop-3.1.1/ node2:`pwd` scp -r hadoop-3.1.1/ node3:`pwd` scp -r hadoop-3.1.1/ node4:`pwd` 将/root/下的jdk.rpm scp到node2、node3、node4的对应目录中 scp jdk-...
hadoop3.1.1@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下： https://github.com/caidaol/hadoopbuild
hadoop-3.1.1编译
11-22
hadoop-3.1.1
Hadoop-2.7.1完全分布式集群搭建完整版
ZeroTeam_麒麟
04-05 7383
CentOS 6.5+Hadoop-2.7.1完全分布式集群搭建完整版
3.1.1 HADOOP框架（分布式集群的搭建、启动，HDFS分布式文件系统）
weixin_47134119的博客
01-22 1382
3.1.1 HADOOP框架 文章目录3.1.1 HADOOP框架四.Apache Hadoop 完全分布式集群搭建4.1 虚拟机环境准备4.2 集群规划4.3 安装Hadoop4.3.1 集群配置4.3.2 分发配置4.4启动集群4.4.1 单节点启动4.1.1 maven介绍 四.Apache Hadoop 完全分布式集群搭建 4.1 虚拟机环境准备 三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步） 在/opt⽬录下创建⽂件夹 mkdir -p /opt/lagou
hadoop-3.1.1集群搭建
weixin_30540691的博客
06-08 150
Hadoop完全分布式集群搭建： 1）配置文件 　　1.hadoop-env.sh 　　　　export JAVA_HOME=/opt/module/jdk1.8.0_171 　　　　export HDFS_NAMENODE_USER=root 　　　　export HDFS_DATANODE_USER=root 　　　　export HDFS_SECONDARYNAMENODE_US...
3.1.1版本hadoop 安装需要的工具包
01-29
3.0.0版本 3.1.1 版本的都可以用，我已经启动成功，https://blog.csdn.net/qq_33398459/article/details/86687379 这个是我的安装配置步骤
hadoop3.1.1+Eclipse IDE
09-25
hadoop-eclipse-plugin eclipse版本：Eclipse IDE hadoop版本：hadoop3.1.1 亲测有效
Hadoop3.1.1高可用完全分布式环境搭建
01-20
学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境 本环境我们用到的软件版本 cetos7,zookeeper-3.4.13.tar.gz,jdk-8u191-linux-x64.tar.gz,hadoop-3.1.1.tar.gz 在linux上安装jdk,配置环境变量 export JAVA_HOME=/bigdata/hadoop/tools/jdk8 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar
hadoop-3.1.1-src.tar
11-13
hadoop-3.1.1-src.tar
Hadoop3.1.1集成hbase2.1.1
01-13
Hadoop3.1.1集成hbase2.1.1,很详细的介绍了Hadoop3.1.1集成hbase2.1.1的教程，希望对大家有用。
Hadoop 3.1.1 - 概述 - 总览
weixin_30326745的博客
09-12 212
Apache Hadoop 3.1.1 和之前发布的 3.0.X 版本线相比，Apache Hadoop 3.1.1 吸收了许多重要的改进。 总览 建议用户阅读完整的版本说明。本文提供了对主要变动的总览。 以下是对主要功能和改进的简短描述。 Yarn Service 框架为在 Yarn 原生环境里长时间运行的服务，提供了一流的支持和接口。 简言之，它扮演了容器编排系统的角色，统一管理 ...
Hadoop3.1.1完全分布式集群部署记录
山山来驰的博客
12-18 1109
一、前言 步骤一：通过VMware搭建分布式集群基础环境 步骤二：centos 7搭建java环境 步骤三：hadoop-3.1.1.tar准备 二、创建hadoop账号 1.添加用户 useradd 选项 用户名 其中各选项含义如下： 代码: -c comment 指定一段注释性描述。 -d 目录 指定用户主目录，如果此目录不存在，则同时使用-m选项，可以创建主目录。 -g 用户组 ...
Hadoop(3.1.1) 集群 安装和配置 (实践)
无名之辈 - QMH
07-11 482
1. Hadoop(3.1.1) 集群搭建 1.1 集群简介 Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode/DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager/NodeManager 本集群搭建案例，以4节点为例进行搭建，角色分配如下： Master (192.168.248.128) N...
hadoop-3.3.3完全分布式集群搭建
09-10
为了搭建hadoop-3.3.3的完全分布式集群，需要完成以下步骤： 1. 确保环境准备：安装JDK 1.8、hadoop 3.3.3和CentOS 7操作系统。 2. 配置JDK环境变量：解压JDK，并修改/etc/profile文件，添加JDK的路径到环境变量中...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值