基于YARN进行提交任务

最新推荐文章于 2024-05-13 18:11:56 发布
最新推荐文章于 2024-05-13 18:11:56 发布
阅读量245 收藏 1
点赞数
分类专栏： Apache Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xys2333/article/details/113369335
版权

本文主要讲述基于YARN进行提交任务

一、Flink On YARN概念理解

Flink On YARN有两种模式：

  • Session
  • Per-Job

（1）Session模式中多了一个JobManager共享YarnResourceManager和Dispatcher,在这种模式下，需要先向Yarn申请资源，初始化一个常驻服务在Yarn上。

 

（2）Per-Job则相反，他是JobManager独享YARNResourceManager 和Dispatcher,也就是提交一个Job都会新建一个Session，每个Job之间的资源是隔离的。

 

更详细的内容，请参考官方文档：

https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/#deployment-modes

 

 

 

 

 

 

 

 

 

远程提交任务yarn_0760-7.0.3-如何使用Cloudera Manager设置使用YARN队列的ACL
weixin_36276359的博客
01-12 647
文档编写目的YARN的队列默认支持ACL的功能，即可以控制哪些用户/组可以提交任务到指定队列，也可以控制哪些用户/组可以管理该队列的作业(删除作业)。通过YARN Queue Manager UI可以界面化配置YARN的资源队列，队列权重，队列资源，以及队列的ACL等。本文主要讲述如何在CDP DC 7.0.3集群上使用YARN Queue Manager UI来控制队列的ACL。测试环境：1.R...
Flink on yarn部署及任务提交
qq_24095055的博客
08-04 2877
文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop
自定义yarn任务
06-17 241
流程 client ApplicationMaster
【大数据】spark Yarn的使用（6） - 任务提交流程
思南的博客
08-24 207
Spark on YARN是spark运行在yarn上，其中有yarn-client和yarn-cluster两种模式，它们的区别在于Driver运行的结点位置。 yarn-client模式 yarn-client模式下的spark的Driver运行在客户端，适用于交互、调试，希望立即看到app的输出。 yarn-cluster模式 yarn-cluster模式下的spark的Driver运行在ResourceManager（以下简称RM）启动的ApplicationMaster（以下简称AM）下，这个模式
Java远程提交YARN MapReduce任务
争当鲲鹏飞万里 不做燕雀恋子巢
03-29 1636
YARN是可以通过Java程序向hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml。 这样在本地eclipse中运行的程序是以yarn模式（而不是以local模式运行）运行，可在yarn的监控界面监控到任务的运行状态； package org.apache.hadoop.examp...
向YARN提交自定义任务
12-14 150
自定义YARN任务
提交任务到Yarn、yarn-client VS yarn-cluster
ZZJXP的博客
05-15 239
package com.shujia.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo02WordCountOnYarn { /** * 将程序提交到Yarn上的流程： * 1、setMaster不能指定为local本地方式运行 * 2、将输入输出路径换成HDFS的路径 * 3、将程序打成jar包(如果运行时出现依赖问题，可以添.
Spark基于Yarn提交任务两种方式
沉默的夏虫
12-17 195
yarn-client提交任务方式 客户端提交一个Application，在客户端启动一个Driver进程 Driver进程会向RS(ResourceManager)发送请求，启动AM(ApplicationMaster)的资源 RS收到请求，随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点 AM...
Flink on yarn 使用Java API提交任务
u013933879的博客
05-10 7285
资料来源：https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/deployment/yarn_setup.html yarn配置信息：https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/config.html#yarn ...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
yarn 上提交shell 脚本时踩过的坑
jxhaha的博客
12-23 4793
遇到一个坑爹的问题，用yarn 跑一个自己写的脚本，提示失败，错误结果如下 16/12/22 16:47:47 INFO distributedshell.Client: Initializing Client 16/12/22 16:47:47 INFO distributedshell.Client: Running Client 16/12/22 16:47:47 INFO client
使用java远程提交flink任务到yarn集群
最新发布
weixin_43039757的博客
05-13 2234
由于业务需要，使用命令行的方式提交flink任务比较麻烦，要么将后端任务部署到大数据集群，要么弄一个提交机，感觉都不是很离线。经过一些调研，发现可以实现远程的任务发布。接下来就记录一下实现过程。这里用flink on yarn 的Application模式实现。
yarn-client 模式提交任务
qq_36392254的博客
04-15 222
自定义yarn应用程序
小刘的博客
01-17 1651
引言 yarn是一款非常优秀的分布式资源管理和调度框架，我们的应用程序想要分布式运行，只要使用yarn来管理资源就会非常放心。现如今好多大型计算框架都可以运行在yarn框架上，比如天生运行在yarn上的MapReduce、优秀的内存计算引擎Spark、后起之秀Flink等都支持yarn的运行模式。那么我们自己开发的程序该如何运行在这款优秀的资源管理和调度框架呢。 相关资源 hadoop-yar...
【Yarn】工作机制及任务提交流程
Just Do IT
02-08 1662
本文以mr程序为例，解释yarn的工作机制及任务提交流程： 0. mr程序提交任务到客户端所在节点； 1.节点上的YarnRunner向ResourceManager申请一个Application； 2. ResourceManager会把Application资源路径及application_id返回YarnRunner； 3. 该程序将job运行所需资源提交到HDFS； 4. 资源提交完毕后，...
Yarn 案例实操
song_quan_的博客
10-27 296
Yarn 生产环境核心参数配置案例 1）需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核 CPU，4 线程。 2）需求分析： 1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3） 3）修改 yarn-site.xml 配置参数如下： 4）分发配置。 注意：如果集群的硬件资源不一致，要每...
YARN的Job任务提交流程和任务调度
weixin_43854618的博客
09-27 604
在Hadoop体系中，YARN的主要作用是资源管理和任务调度，其主要组合包括ResourceManager和NodeManager，下面来聊聊它的job任务提交流程和任务调度算法。 job任务提交流程 job任务的提交流程如下图： 1 客户端向ResourceManager提交任务，ResourceManager会根据权限和当前集群的负载情况执行Job任务 2 ResourceManager就会启动ApplicationManager来启动AppMaster，一个AppMaster对应一个Job任务
Hadoop实例学习(十五)YARNshell操作
秘密的博客
08-24 653
目录YARN常用命令yarn application 查看任务列表yarn application 查看任务状态yarn application 强杀任务yarn logs 查看日志查询 Application 日志查询 Container 日志yarn applicationattempt 查看尝试运行的任务列出所有 Application 尝试的列表打印 ApplicationAttemp 状态yarn container 查看容器列出所有 Container打印 Container 状态yarn no
Flink基于yarn常驻进程服务监控
wppwpp1的专栏
09-10 941
1，因业务需求，需要监控yarn的某些常驻进程，如果挂了的话，打电话报警或者把相关报警发到报警群里。 package com.crgt; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.io.UnsupportedEncodingException; import java.util.*; import java.util.concurrent.TimeUn
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值