Hadoop----伪分布式集群搭建

最新推荐文章于 2023-12-25 22:44:49 发布
最新推荐文章于 2023-12-25 22:44:49 发布
阅读量803 收藏 3
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/WQY992/article/details/88630983
版权
本文详细介绍了如何在单台主机上搭建Hadoop伪分布式集群，包括上传和配置Hadoop与JDK压缩包，创建文件夹软链接，配置环境变量，修改相关配置文件，设置SSH无密码登录，格式化分布式文件系统，启动守护进程，以及进行MapReduce作业的测试。通过这些步骤，可以在本地模拟多节点集群环境进行Hadoop操作和应用测试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

定义

Hadoop伪分布式集群（pseudo distributed cluster），就是在一台主机上模拟多个主机（数据存储节点）。即hadoop的守护程序在本地计算机(这个指的是Linux虚拟机)上运行，模拟集群环境，并且是相互独立的Java进程。

在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由ResourceManager服务来管理的独立进程。

比单节点集群（local mode） 多了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。

伪分布式集群搭建

  1. 上传jdk和hadoop压缩包
    找到虚拟机，右击选择“设置”，点击“选项”----“共享文件夹”
    在这里插入图片描述
    选择“总是启用”，点击添加按钮
    在这里插入图片描述
    点击浏览，选择Windows下的存放hadoop-2.7.3.tar.gz和
    jdk-8u172-linux-x64.tar.gz的文件夹，点击确定。在这里插入图片描述
    打开虚拟机，查看根目录下的mnt文件夹下的hgfs文件夹，可看到：通过上一步操作设置的共享文件，可通过虚拟机查询使用
    在这里插入图片描述
    进入文件夹，查看文件，
    在这里插入图片描述
    在用户目录下创建文件夹apps，将/mnt/hgfs/Hadoop下的压缩包文件，拷贝到apps下
最低0.47元/天 解锁文章
hadoop伪分布式集群搭建
雷恩Layne
03-21 1415
本文步骤较多，请细心查看。 基础设施 基础设施环境如下： jdk 1.7+（提前设置好环境变量） ssh自己和自己之间进行免密登陆，如在layne1上执行ssh layne1 时间同步 设置本机ip 设置主机名 可参考Linux切换运行级别、关闭防火墙、禁用selinux、关闭sshd、时间同步、修改时区、拍摄快照、克隆操作、修改语言环境。 另外，不得不提Linux系统远程执行和远程登陆的区别： 远程执行：不需要用户交互，而是用户直接给出一个命令，直接在远程执行，不会加载 /etc/profile.
Hadoop-3.3.6伪分布式集群搭建
m0_62929925的博客
09-07 920
start-all.sh或者分别启动hdfs和yarn,即：start-dfs.sh , start-yarn.sh。可以利用Xshell7和Xftp7解压jdk到/usr/local/src目录下，在Xshell7中打开Xftp7。执行命令： hdfs namenode -format，出现如图所框选的信息表明成功。执行命令 ：vim mapred-stie.xml， 添加如下代码。ls查看/usr/local/src目录下内容。ls 查看/usr/local/src。
Hdoop伪分布式集群搭建
陈七的博客，学习知识分享，期待与大家的交流
09-17 1072
hadoop伪分布式集群搭建，在自己的虚拟机上创建三台虚拟机作为节点
Hadoop伪分布式集群搭建
优快云_bird的博客
06-12 442
首先我们要先知道我们的主机名 在linux上我们一般使用vi 来执行操作 也可以使用vim 使用vim需要下载 yum -y install vim* vim使用比较舒服一点 ，所以我一般都是使用vim 查看主机名 vim /etc/sysconfig/network hostname 就是主机名 可以自己修改 同时需要修改 /etc/hosts里的文件 vim /etc/hosts 在最下...
Hadoop伪分布式集群的搭建
m0_64445892的博客
04-03 6275
一、准备虚拟机 1.从网上将VMware下载下来 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/images/gallery/banners/content/hero-generic-1400x350.jpg 2.下载centos https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/ 二、配置网络，设置网卡 1.将下载好的centos安装好后，点击左上角
Hadoop-3.1.3版本的分布式集群搭建
qq_55524511的博客
09-04 1548
就是hadoop-3.1.3搭分布式集群的过程啦，注意，要跟着这篇文章走，必须要先看文章里链接的伪分布式搭建过程哦，这两个可以说是上篇和下篇
在Linux上搭建 伪分布式 -> 完全分布式hadoop集群
最新发布
09-22
搭建伪分布式与完全分布式Hadoop集群是一个复杂的过程，涉及多个步骤和细节配置。首先，搭建集群的环境分为准备阶段和配置阶段。准备阶段需要搭建虚拟机环境，通常选择CentOS或Ubuntu作为操作系统，因为这两个系统对...
hadoop集群搭建--伪分布式
MengShi_的博客
03-28 4388
前情提要。我们搭建了单节点也就是本地hadoop集群。我直接以此为基础 扩展到伪分布式集群 目录 一、hadoop伪分布式 操作系统 软件要求 三、配置详情 1.安装虚拟机和配置网络 2. 上传jdk和hadoop 安装VMware tools 设置共享文件夹 3. 安装jdk和hadoop 解压jdk和hadoop 创建软链接 4. 配置环境变量...
Hadoop伪分布式集群的搭建【详细教程】
qq_63834914的博客
12-25 5208
本文是基于jdk8和CentOS6配置的Hadoop伪分布式集群，步骤详细，希望能帮助到给位小伙伴们，有什么不足的请多多包含。
Hadoop集群搭建（伪分布式）
weixin_56386353的博客
07-15 2015
集群搭建hadoop伪分布式 软件准备： VMware Workstation Pro centos 7 xshell5 jdk-8u141-linux-x64.tar.gz hadoop-2.10.1.tar.gz 一.安装jdk 1.首先在jdk官网中，下载jdk安装包，本文以jdk-8u141-linux-x64.tar.gz为例 2.将安装包传入虚拟机中，本文以xshell5为例 （1）.打开xshell5，连接上虚拟机，连接成功之后会有以下提示 （2）.输入rz命令，出现传输文件的提示框，若没有
HADOOP 伪分布式集群搭建
missdanlan的博客
03-25 2455
HDFS 会以128M为单位将上传的文件进行切分为若干个block 存储在不同的datanode中，由于为了在不可靠的机器上进行提供可靠的服务，所以采用多副本机制进行存储。由于Hadoop 依赖于JDK运行环境，笔者这里采用的是hadoop3.3.4版本，支持JDK11，所以笔者安装的也是JDK11 版本。由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建，所以一下示例均以centos7进行示例。设置完成之后 输入命令reboot 进行重启，那么初始设置就设置好了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值