大数据存储与处理——YARN

最新推荐文章于 2024-10-28 18:45:19 发布
最新推荐文章于 2024-10-28 18:45:19 发布
阅读量434 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据存储与处理 文章标签： 大数据存储与处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45680007/article/details/102974785
YARN（Yet Another Resource Negotiator）是为了改进Hadoop MapReduce v1的局限性而诞生的，它提供了统一的资源管理框架，支持多种计算框架如MapReduce、Tez、Storm和Spark。YARN的结构包括ResourceManager、NodeManager和ApplicationMaster，其中ResourceManager全局调度资源，NodeManager管理节点资源，ApplicationMaster负责应用的调度和监控。YARN还具备容错机制，如ResourceManager的高可用性和ApplicationMaster的自动重启。此外，YARN采用双层调度框架和资源预留策略来优化集群资源利用率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Yarn产生的原因

在这里插入图片描述
直接源于MRv1在几个方面的缺陷
扩展性受限
单点故障：JobTracker 完成了太多的任务，造成了过多的资源消耗
难以支持MR之外的计算

多计算框架各自为战，数据共享困难

在这里插入图片描述

YARN

即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架
由YARN为这些计算框架提供统一的资源调度管理服务，并且能够根据各种计算框架的负载需求，调整各自占用的资源，实现集群资源共享和资源弹性收缩

离线计算框架：MapReduce
DAG计算框架：Tez 有向无环图 适合编写有依赖关系的作业
流式计算框架：Storm
内存计算框架：Spark【不读磁盘而直接在内存上计算】
图计算框架：Giraph

YARN的结构

ResourceManager：整个集群只有一个，负责集群资源的统一管理和调度
NodeManager：单个节点上的资源管理
ApplicationMaster：每个应用有一个，任务调度、监控与容错

ResourceManager（RM）是一个全局的资源管理器，负责整个系统的资源管理和分配，主要包括两个组件，即调度器（Scheduler）和应用程序管理器（Applications Manager）

调度器接收来自ApplicationMaster的应用程序资源请求，把集群中的资源以“容器”的形式分配给提出申

最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据存储与处理——Hive和Pig
weixin_45680007的博客
11-16 548
传统的mapper: public class WordCountMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); pu...
大数据分析-第三章 大数据存储和处理
SpriCoder的博客
02-19 6022
第三章 大数据存储和处理
大数据存储与处理
sun13212715744的博客
09-21 887
1. 数据存储： 大数据通常需要高效的存储解决方案，包括分布式文件系统（如Hadoop HDFS）和分布式数据库系统（如Apache Cassandra、HBase、MongoDB等）。5. 数据查询和分析： 大数据存储和处理系统通常具有强大的查询和分析功能。总之，大数据存储与处理是一个涵盖多个领域的复杂任务，需要使用各种技术和工具来有效地处理和分析大规模数据集。大数据存储与处理是指处理大规模数据集的方法和技术，通常涉及存储、管理、分析和提取有价值信息的过程。
【大数据存储与处理】
zjs246813的博客
03-10 4451
目录1.任务说明1.1任务描述1.2架构设计1.3数据流动图2.数据生成2.1 生成数据属性说明2.2 数据生成代码3.数据存储3.1数据存入Hbase3.1.1hbase存储设计3.1.2数据存入hbase代码4.数据处理可视化展示 1.任务说明 1.1任务描述 通过用户画像可以了解用户对哪些类型的短视频感兴趣，推荐用户喜欢的短视频，吸引更多的用户使用。同时可以了解各年龄段或不同性别的用户喜欢类型视频占比情况。 1.2架构设计 项目整体架构如图所示，总共分为五层，数据来源层、数据存储层、数据处理层、业务层
大数据的存储与处理
fantasydreams的专栏
01-02 2282
环境虚拟主机：centos7两台 vmware 11.0 jdk-8u45-linux-x64 hadoop-2.7.0* 一、单机模式的Hadoop分布式环境安装和运行*所需环境： 两台centos7.0 64位虚拟机 hadoop-2.7.0 jdk-8u45-linux-x64 通过ssh将Hadoop和javaJDK上传入虚拟机 分别进行解压并更改权限（代码序列如下） tar –vxz
我眼中的大数据（四）——Yarn和Hive
nicvscs的博客
09-27 2960
但是Yarn并不是随Hadoop的推出一开始就有的，Yarn作为分布式集群的资源调度框架，它的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为一个集存储、计算、资源管理为一体的完整大数据平台，进而发展出自己的生态体系，成为大数据的代名词。在Hadoop早期的时候，大数据技术就只有Hadoop一家，这个缺点并不明显。先回忆一下我们学习的MapReduce的架构，在MapReduce应用程序的启动过程中，最重要的就是要把MapReduce程序分发到大数据集群的服务器上。
大数据期末复习资料——
06-20
大数据的发展历程可以分为三个阶段：数据收集阶段、数据存储阶段和数据处理与分析阶段。 大数据概念涵盖了几个主要特点：数据量大、数据类型繁多、处理速度快和价值密度低。大数据对社会产生了深远的影响，广泛应用...
掌握大数据架构与算法——入门必读完整书签版
2. 数据存储：熟悉大数据存储技术，如Hadoop的HDFS（Hadoop Distributed File System），以及非关系型数据库如MongoDB、Cassandra等。 3. 数据处理：掌握大数据处理架构，包括批处理（如Hadoop MapReduce）和流处理...
大数据面试题整理——Hive
最新发布
qq_68076599的博客
10-28 1645
Hive是一个构建在Hadoop上的数据仓库软件，它提供了类似SQL的查询语言，使得用户可以用SQL来查询存放在Hadoop上的数据。Hive是一种结构化数据的存储和查询机制，它可以将SQL语句转换为MapReduce任务在Hadoop上执行。Hive可以自定义单行函数、聚合函数、炸裂函数。定义单行函数，通过继承UDF，重写evaluate方法。例如，创建一个自定义的字符串拼接函数：定义炸裂函数，继承，重写process方法。
大数据存储与处理——HBase
weixin_45680007的博客
11-02 568
HBase作为Google Bigtable的开源实现，Google Bigtable利用GFS作为其文件存储系统类似，则HBase利用Hadoop HDFS作为其文件存储系统；Google通过运行MapReduce来处理Bigtable中的海量数据，同样，HBase利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBa...
大数据的存储与处理——GFS和HDFS简介
weixin_45680007的博客
10-11 3471
一：GFS Google需要一个支持海量存储的文件系统 方法一：购置昂贵的分布式文件系统与硬件？ 方法二：是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？ 问题：为什么不使用当时现存的文件系统？ Google所面临的问题与众不同 不同的工作负载，不同的设计优先级（廉价、不可靠的硬件）需要设计与Google应用和负载相符的文件系统 优点：在物理上分离，逻辑上统一，用数量上的多，来弥补单个...
大数据存储解决方案和处理流程——解读大数据架构（四）
奔跑的蜗牛的博客
04-14 2731
在数字时代，数据已成为公司的命脉。但是，仅仅拥有数据是不够的，数据真正的价值在于如何有效地管理、存储和处理。管理数据的组件就像复杂机器中的齿轮，每个都有自己的职责，但又同步工作实现共同的目标。本文将从一些最实用的存储解决方案开始说起，包括数据集市、可实操的数据存储方案和数据中心。以及有效管理和利用数据所涉及的广泛流程，还会讨论主数据管理数据虚拟化数据目录和数据市场等概念。
企业的数据存储、处理与分析之道
云布道师
01-17 357
12 月 30 日，SelectDB 携手阿里云共同举办云数仓专场沙龙，在线上沙龙中，来自 SelectDB 和 阿里云的四位云计算领域专家，深入数仓的发展现状和未来趋势，结合企业级的真实场景落地案例，对技术和产品进行了详细的解读。
数据处理及存储
qq_35892775的博客
10-07 1686
1.移位操作 （1）逻辑移位：数码位置变化。 逻辑左移： （2）算数移位：符号位不变、数码位置变化 算数左移： 整数补码/原码移位规则 数符不变（单：符号位不变；双：第1符号位不变） 空位补0（双：右移时第2符号位移移至尾数最高位） 负数补码移位规则 数符不变（单：符号位不变；双：第1符号位不变） 左移空位补0 右移空位补1（双：右移时第2符号位移移至尾数最高位） ...
yarn 的nodemanager 中间数据存储
weijiasheng的博客
03-24 1537
yarn.nodemanager.local-dirs: 这个目录是nodemanager上的作业中间数据存放路径，默认是 10G大小 ； yarn.nodemanager.local-dirs，我们一般配置多个目录 ，几个磁盘就几个目录 <property> <name>yarn.nodemanager.localizer.cache.target-si...
大数据处理平台Hadoop：YARN通俗解析及基本架构
code_welike的博客
08-27 128
它采用了分布式的、多节点的架构，包含ResourceManager、NodeManager和ApplicationMaster等关键组件。ResourceManager接收来自客户端和ApplicationMaster的资源请求，并决定如何将集群资源分配给不同的应用程序。每个应用程序都在被分配的容器中运行。YARN是Hadoop的资源管理系统，负责集群中资源的分配和任务的调度。ResourceManager接收到应用程序的提交请求后，为该应用程序分配一个唯一的ApplicationMaster。
YARN资源调度
小城我家
10-16 317
YARN架构 ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度； NodeManager(nm)：单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令； ApplicationMaster(am)：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。 Container：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、
大数据处理技术-基于Hadoop/Yarn的大数据技术实战
中科院计算所培训中心
03-11 1377
培训要点 互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据分析的决策模型和技术支持。 大数据通常具有：数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管
HTML5的数据存储和数据处理的功能有,HTML5和CSS3-web前端开发技术习题答案.docx
weixin_36297381的博客
06-04 143
第一章1．简答题(1)在Web前端开发方面，HTML5与HTML4比较，主要解决哪几方面的问题？HTML5的核心在于解决当前Web开发中存在的各种问题。一是解决Web浏览器之间的兼容性问题。在一个浏览器上正常显示的网页(或运行的Web应用程序)，很可能在另一个浏览器上不能显示或显示效果不一致；二是文档结构描述的问题。HTML4之前的各版本中，HTML文档的结构一般用div元素描述，文档元素的结构含...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值