YARN基本接口简析

YARN架构解析
最新推荐文章于 2024-10-26 11:29:33 发布
最新推荐文章于 2024-10-26 11:29:33 发布
阅读量838 收藏 1
点赞数
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/476803
本文介绍了YARN的基本接口及其核心特点，包括事件与状态驱动的设计（SEDA），以及服务化的实现方式。深入探讨了状态机、事件、事件处理器、调度器和服务等关键组件的工作原理。

快速看了一下yarn的基本Interface，两个特点：事件+状态（SEDA），服务化

StateMachine:每个实体类在初始化时会定义好该类的一个状态机的状态拓扑，并有hook来处理这个过程

Event：描述事件的实体

EventHandler：用来处理具体类型事件，调用StateMachine做状态转换处理

Dispatcher：绑定某类事件到具体的Handler上，将具体的事件放到eventQueue中，(AsyncDispatcher)异步的将具体的事件分发到Handler上处理

Service：将自己注册到相应的ServiceStateChangeListener，封装了Dispatcher和Handler

AbstractService：当状态发生变化时调用listener的回调

YARN RPC：封装了hadoop的RPC client/server，加了一些新增的协议，以及可以配置序列化方式


本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1320232，如需转载请自行联系原作者

Yarn 的 Tool接口，实现MR程序
扛麻袋的少年的博客
05-06 712
二十五、Yarn 的 Tool接口，实现MR程序
YARN和HDFS的调用方式汇总
ASIN的专栏
11-13 3562
MapReduce和HDFS的运行方式汇总总结涉及到运行MapReduce和HDFS的几种方式，包括使用命令行，oozie，API等．操作MapReduce命令行方式hadoop jar wordcount.jar hdfs_input hdfs_output 使用YARN REST APIS通过YARN(MapReduceV2)提供的api，用户可以自定义提交作业，查看作业状态等，参见Hadoop
Yarn的Tool接口案例
好好学习天天向上
06-25 609
之前写wordcount里通过命令行传入的参数来获取输入路径与输出路径。执行命令 期望可以动态传参，结果报错，被人误是第一个输出参数 需求:自己写的程序也可以动态修改参数。编写Yarn的Tool接口修改Maven设置修改pom.xml 注意 打包用的JDK8，hadoop里面是JDK8，但是本地安装的是JDK11、Maven使用的是JDK11。 所以执行命令的时候会报错。 hadoop3.x目前只支持jdk1.8。修改版本到JDK8。修改Java编译器 创建包名使用ToolRunner的方法运行WordCo
Hadoop学习之YARN（Tool接口案例）心得
ljs_0的博客
03-16 1527
Tool接口案例
Hadoop YARN 基本架构和发展趋势 - d.pdf
10-16
【Hadoop YARN基本架构】 Hadoop YARN（Yet Another Resource Negotiator）是Apache Hadoop项目中的一个核心组件，它的设计目标是解决早期Hadoop 1.x版本中MapReduce（MRv1）存在的问题，包括扩展性限制、单点故障...
Hadoop技术YARN的基本架构共9页.pdf.zip
11-21
本资料"YARN的基本架构共9页.pdf.zip"将深入探讨YARN的架构、工作原理以及其在大数据生态系统中的作用。 首先，YARN的出现是为了解决早期Hadoop MapReduce模型中的单点故障和资源利用率低下的问题。在Hadoop 1.x中...
hadoop-yarn-api-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-yarn-api-2.5.1.jar； 赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后...
Yarn的基本架构
不言尘世
12-12 1187
先来一一张图： 基本结构组成：ResourceManager，ApplicationMaster，NodeManager，Container 1.ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 调度器（Scheduler）仅负...
YARN的基本架构
weixin_48649930的博客
08-03 941
YARN基本组成结构 Yarn主要由ResourceManager，NodeManager，ApplicationMaster 和 Container 几个组件构成 1.ResourceManager（RM） RM，全局的资源管理器，负责整个系统的资源管理和分配 ①调度器 调度器根据容量、队列等限制条件，将系统中的资源分配给各个正在运行的应用程序。 ②Applications Manager（ASM） 负责管理整个系统中所有应用程序，包括程序提交、与调度器协商资源以启动 ApplicationMaste
Hadoop：yarn的Rust API接口
最新发布
雷神乐乐的博客
10-26 687
Hadoop：yarn的Rust API接口
Yarn实现Tool接口
小M呀~之大数据系列
12-12 1332
目录 1.前情回顾 2.需求 3.编码 3.1新建 Maven 项目 YarnDemo 3.2新建 com.xxxx.yarn包名 3.3创建类 WordCount 并实现 Tool 接口 3.3 新建WordCountDriver类 1.前情回顾 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar wc.jar com.atguigu.mapreduce.wordcount2.WordCountDriver /input /output1 ...
Yarn 的 Tool 接口案例
weixin_44966780的博客
12-05 282
Yarn 的 Tool 接口案例 0）回顾 hadoop jar wc.jar com.xiaoqiu.mapreduce.wordcount.WordCountDriver /input /output 期望可以动态传参，结果报错，误认为是第一个输入参数。 hadoop jar wc.jar com.xiaoqiu.mapreduce.wordcount.WordCountDriver -Dmapreduce.job.queuename=root.test /input /output 1）需求：自己写的
Hadoop 教程 - Yarn的Tool接口案例
qq_33240556的博客
06-25 527
在Hadoop YARN中，Tool接口是一个非常实用的功能，它允许开发者编写可直接从命令行调用的Java程序，用于与YARN集群交互，比如提交应用程序、管理作业等。下面是一个使用YARN Tool接口的简单案例——基于MapReduce的WordCount程序。
yarn rest接口监控mr spark 任务
max_hello的博客
10-15 757
yarn rest api :yarn rest api sparkstreaming消息延迟监控处理:http://ip:8088/proxy/yarn _application_id/metrics/json
java对外接口开发实例_【开发案例】Yarn对外接口
weixin_29032337的博客
03-08 2085
2对外接口2.1Command您可以使用YARNCommands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。完整和详细的Command描述可以参考官网文档：http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnComm...
Hadoop中的Yarn的Tool接口案例、Yarn 案例实操（四）
Redamancy06的博客
10-18 1158
注意此时提交的3个参数，第一个用于生成特定的Tool，第二个和第三个为输入输出目录。注：以上操作全部做完过后，快照回去或者手动将配置文件修改成之前的状态，因为本身资源就不够，分成了这么多，不方便以后测试。自己写的程序也可以动态修改参数。编写Yarn的Tool接口。期望可以动态传参，结果报错，误认为是第一个输入参数。改名为YarnDemo，然后进行上传到Linux上。点击reload from Disk进行刷新。将jar包拖拽到XShell里面。添加依赖后记得刷新一下。
Hadoop（28）：Yarn的Tool接口案例
yang_shibiao的博客
05-05 365
目录 0. 相关文章链接 1. 需求 2.具体步骤 3. 提交Jar包 0. 相关文章链接 Hadoop 文章汇总 1. 需求 使用如下命令执行官方的WordCount案例： hadoop jar wc.jar com.atguigu.mapreduce.wordcount2.WordCountDriver /input /output1 期望可以动态传参，结果报错，误认为是第一个输入参数。 hadoop jar wc.jar com.atguigu.mapreduce.word.
yarn web ui接口数据的获取的探索和实现思路
Little_White_Growth的博客
06-25 1077
需求背景 公司一项目需对spark程序进行性能分析，单纯从时间的角度去看并不能看出实际的执行性能，就想通过yarn对每个application的资源记录来综合评估。 分析yarn的源码发现，yarn的ui在获取application的数据都是通过RMWebServiceProtocol 这个接口来实现的，开始有了一个思路就是： 根据 RMWebServiceProtocol这个协议生成一个客户端去访问RM 的服务端，调里面的的一些方法可以拿到具体的信息。 后来发现yarn的web ...
深入解析Hadoop YARN架构：9页精讲
资源摘要信息:"Hadoop技术YARN的基本架构" Apache Hadoop是一个开源框架，用于分布式存储和处理大数据。其中，YARN（Yet Another Resource Negotiator）是Hadoop的一个子项目，它为Hadoop提供了一个资源管理平台，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值