大数据入门二（YARN部署）

最新推荐文章于 2025-03-12 17:41:44 发布
最新推荐文章于 2025-03-12 17:41:44 发布
阅读量187 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39892028/article/details/83095173
本文详细介绍Hadoop生态系统的入门级配置与部署，包括HDFS存储、MapReduce计算、Spark和Flink处理框架、Yarn资源调度等核心组件。涵盖伪分布式部署、环境配置、无密码SSH启动及jps命令验证等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.入门
HDFS 存储
MapReduce 计算
Spark Flink
Yarn 资源作业调度

伪分布式部署
要求 环境配置文件 参数文件 ssh无密码 启动

jps命令
[hadoop@hadoop002 ~]$ jps
28288 NameNode NN
27120 Jps
28410 DataNode DN
28575 SecondaryNameNode SNN

1.MapReduce job on Yarn
在这里插入图片描述

[hadoop@hadoop002 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@hadoop002 hadoop]$

在这里插入图片描述
Configure parameters as follows:
etc/hadoop/mapred-site.xml:

mapreduce.framework.name yarn ![在这里插入图片描述](https://img-blog.youkuaiyun.com/20181016180103259?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODkyMDI4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)

etc/hadoop/yarn-site.xml:

yarn.nodemanager.aux-services mapreduce_shuffle Start ResourceManager daemon and NodeManager daemon: $ sbin/start-yarn.sh

在这里插入图片描述
open web: http://47.75.249.8:8088/

在这里插入图片描述

倾白首
关注
大数据学习指南从入门到精通
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
【大数据入门核心技术】学习导读列表--建议收藏
12-03 1992
本专栏主要为博主总结大数据生态内容，包括Hadoop、Hive、Hbase、Impala、Sqoop、Spark、Flink、Kafka、ElasticSearch、Ambari等最具价值的大数据相关技术。【大数据入门核心技术-基本概念】（一）大数据相关基本概念【大数据入门核心技术-基本概念】（二）大数据行业生态【大数据入门核心技术-基本概念】（三）大数据应用领域和行业【大数据入门核心技术-Zookeeper】
大数据入门：Hadoop Yarn组件基础解析
shuimuzh123的博客
11-26 376
在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。今天的大数据入门分享，我们就来对Hadoop Yarn组件做个简单的基础解析。 Yarn简介 Yarn是Yet Another Resource Negotiator的缩写，在Hadoop生态当中，作为通用的资源管理系统与调度平台，去实现CPU、内存、磁盘、网络等资源进行统一管理与拆分，以容器的形式，为上层应用提供统一的资源
大数据之Hadoop_Yarn的基本介绍,及入门程序的书写
WuBoooo的博客
08-20 242
Yarn的基本介绍 Yarn:分布式资源调度平台和任务交互平台. 主要负责在hadoop集群中管理各节点的cpu.内存.磁盘(IO),网络的使用情况,实时监控集群中每台机器的运算资源,合理分配资源,及任务进度的监控,任务再分配 Yarn与hdfs相似,也分主从结点: 主节点:resourcemanage 从节点:nodemanage 安装Yarn 1.上传Yarn的安装包 2.解压到指定目录下 3.进入到hadoop的etc下修改yarn-site.xml配置文件,将以下配置信息加入进去 <confi
-大数据入门-2-Hadoop-YARN资源管理
chen_2_2的博客
07-20 199
在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负 责资源的分配，而NodeManager则负责资源的供给和隔离。 ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的资源调度）后，NodeManager需按 照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行...
大数据学习（62）- Hadoop-yarn
weixin_61006262的博客
03-12 1741
1. YARN简介Hadoop-YARN是Apache Hadoop生态系统中的一个集群资源管理器。它作为Hadoop的第二代资源管理框架，负责管理和分配集群中的计算资源。YARN的设计目标是提供一个通用的资源管理框架，使得Hadoop集群可以同时运行多个计算框架，如等。通过将集群资源和计算任务分离，YARN实现了更高的资源利用率和更好的集群资源管理。2. YARN架构Hadoop-YARN的架构包括以下组件：(1) ResourceManager（资源管理器）
YARN框架概述与集群部署
qq_46439199的博客
11-14 3092
YARN框架概述与集群部署
BigData-Notes 大数据入门指南
06-23
集群资源管理器 —— YARN Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive Hive 简介及核心概念 Linux 环境下 Hive 的...
【大数据入门核心技术-Flink】（四）Flink安装部署-Flink On Yarn模式
08-29 475
Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本文主要演示Flink On Yarn模式的安装部署。
CDH大数据平台入门篇之搭建与部署
予挚之的博客
03-06 5577
CDH：存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件、高安全性且能够部署多种应用，并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
大数据入门（五）YARN简介以及工作流程详解
qq_37771475的博客
01-30 2711
Apache YARN（Yet Another Resource Negotiator，另一种资源协调者）是Hadoop的集群资源管理系统。YARN的核心思想是将资源管理和作业调度/监控的功能拆分为单独的守护进程——其中ResourceManager用来管理集群资源，NodeManager用来启动和监控容器。 一、YARN相关概念解析 Container（容器）：是集群资源（包含内存、CPU、磁盘、网络等）的抽象和封装，一个Container就是一组分配的系统资源。 Job / Applicati.
大数据学习之路（四）YARN
菜鸟的博客
05-03 1613
YARN YARN YARN是在Hadoop2.0出现的类似于手机操作系统的，类似IOS，用来管理安装在其上的插件的工具，和Hadoop1.0做一个比较 yarn上面可以有很多插件安装在上面 一、Yarn 1、定位：分布...
浅显易懂入门大数据系列：二、MapReduce、YARN（超详细）
邵奈一的博客
07-28 1932
文章目录MapReduce的定义MapReduce的特点MapReduce的架构产生YARN的背景YARN的架构MapReduce on YARN任务调度流程配套教程四之YARN与MapReduce的配置与使用 现在我们继续前面的教程，我们在上一章节已经说了，我们的Hadoop框架，主要由三大组件组成，分别为：HDFS、MapReduce、YARN，这一章节，我们来聊聊MapReduce和YARN...
大数据hadoop之YARN理解与架构简单分析
weixin_39715061的博客
06-28 2119
最近看了看大数据相关的书虽然很顺利的搭建了一个伪分布式的集群,但是坑确实是挺多的    最大的坑是 我们在进行idea操作的时候需要添加依赖&lt;repository&gt; &lt;id&gt;cloudera-releases&lt;/id&gt; &lt;url&gt;https://repository.cloudera.com/artifactory/cloudera-...
大数据——手把手分布式yarn集群安装
weixin_39971163的博客
08-03 456
yarn是一个分布式程序的运行调度平台 yarn中有两大核心角色： 1、Resource Manager 接受用户提交的分布式计算程序，并为其划分资源 管理、监控各个Node Manager上的资源情况，以便于均衡负载 2、Node Manager 管理它所在机器的运算资源（cpu + 内存） 负责接受Resource Manager分配的任务，创建容器、回收资源 2.2.YARN的安装 node...
算法刷题中如何高效掌握时间复杂度.doc
最新发布
08-06
算法刷题中如何高效掌握时间复杂度.doc
swr.cn-southwest-2.myhuaweicloud.com/ks/kubesphere/kubectl:v1.27.16
08-06
docker镜像包swr.cn-southwest-2.myhuaweicloud.com/ks/kubesphere/kubectl:v1.27.16
Spring Cloud Config配置中心使用全流程.doc
08-06
Spring Cloud Config配置中心使用全流程.doc
PSP_Sevice_Level_2014.xls
08-06
PSP_Sevice_Level_2014.xls
Spark大数据入门实战资源全面指南
由于给定的信息中提供的内容有限，我将基于文件标题“Spark入门实战系列（资源合集）文档.rar”和标签“spark 大数据”，以及描述中的信息，展开关于Apache Spark的详细知识点。 Apache Spark是一个开源的分布式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值