Yarn 上提交的job对应的sql查询

最新推荐文章于 2024-03-28 10:57:21 发布
原创 最新推荐文章于 2024-03-28 10:57:21 发布 · 3.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在Yarn上查找MapReduce作业对应的SQL查询。通过监控页面选择MAPREDUCE应用，进入详情，然后查看历史运行情况，最后在配置页面搜索参数mapreduce.jdbc.input.query来获取SQL语句。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.在yarn上查看类型是mapreduce 的job对应的sql

1.进入hadoop的监控页面，选择类型是MAPREDUCE的应用。

 

2.点击上图的application_id进入此application的项目页面信息，如下图所示：

 3，点击上图的Tracking URL:对应的History查看历史运行情况，如下图

 

 4.点击最左边的：Configuration按钮，进入配置页面，在页面搜索这个参数：mapreduce.jdbc.input.query，对应的值就是我们运行时的SQL语句

最低0.47元/天 解锁文章

200万优质内容无限畅学
flink提交作业到yarn
chanyue123的博客
12-01 9022
讲解flink如何提交到yarn
Flink在YARN上支持的三种部署方式及使用方式
penriver的博客
09-10 3264
前提 安装yarn集群并启动 配置HADOOP_CLASSPATH环境变量 export HADOOP_CLASSPATH=`hadoop classpath` Flink在YARN上支持的部署方式 对于生产使用，建议Per-job or Application Mode部署Flink应用程序，因为这些模式为应用程序提供了更好的隔离。 详见参见： flink on yarn Application Mode Application Mode将在YARN上启动一个Flink集群，其中应用程序j
yarn查看已提交任务sql
weixin_46680124的博客
03-06 632
位置：mapreduce.workflow.name。yarn查看已提交任务sql及其参数。
hive-sql在yarn上运行调优_「JVM」GC——调优介绍
weixin_32171133的博客
01-20 693
GC调优的合理规划GC性能的定义在针对JVM进行性能调优时，首先需要了解JVM性能调优时对性能的定义与目标。吞吐量： 在不考虑GC引起的停顿时间或内存消耗，GC能支撑应用达到的最高性能指标。延迟：减少或完全清除(0GC)因为GC引起的停顿时间内存占用： GC流畅运行时需要的内存大小GC类型MinorGC 清除年轻代MajorGC 清除老年代FullGC 清理整个堆空间调优原则在对JVM进行性能优化...
获取YARN中实际执行的sql文本
qq_39625998的博客
05-08 1442
笔者在此之前一直想找到contains中运行的sql命令，相信有不少小伙伴和笔者有着相同的疑惑。 偶然间发现了这个参数，可以借助此参数快速找到sql文件。 命令如下: hdfs dfs -cat /ats/XXX/application_156000000000_0000*/*/* \ |grep mapreduce.workflow.name \ |awk 'BEGIN{RS="\",\""}{$1=$1;print $0}' \ |grep mapreduce.workflow.name \
通过yarn 查看完整的hql语句
bigdataf的博客
09-18 2225
流程： 点击Tracking URL—->左侧job下的configuration—->在右侧Search 搜string(hive.query.string)对应的value就是现在执行或者已经完成的hive程序对应的sql语句
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
weixin_30765505的博客
12-07 1314
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configura...
根据 Application ID找到 Hive 的 SQL 语句
houzhizhen的专栏
08-11 2057
根据 Yarn 的 Application 找到 Hive 的 SQL，需要根据执行引擎（tez 或者 mr）的不同有不同的方法。以下以 TEZ 引擎 为例。
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1243
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
Flink Yarn Per Job - Yarn应用
hyunbar的博客
08-01 1238
决定后面什么类型的执行器提交任务yarn-session、yarn-per-job。是否指定为per-job模式，即指定”-myarn-cluster”;是否存在flink在yarn的appID，即yarn-session模式是否启动。executor的名字为“yarn-session”或“yarn-per-job”Generic、Yarn、Default三种命令行客户端。依次是Generic、Yarn、Default。匹配一个“-”的参数或者两个“–”的参数。...
通过springboot获取sparksql在yarn上执行的结果
shaozhiliang的博客
04-16 1059
通过springboot获取sparksql在yarn上执行的结果 springboot + springcloud+nacos+spark on yarn 通过springboot获取sparksql在yarn上执行的结果 springboot项目的构建 主要的内容： 1.controller层：执行sql并获取结果的rest接口 2. service层：通过sparkSession，执行sql...
hadoop2 作业执行过程之yarn调度执行
weixin_33843409的博客
03-03 336
YARN是hadoop系统上的资源统一管理平台，其主要作用是实现集群资源的统一管理和调度（目前还不完善，只支持粗粒度的CPU和内存的的调配）； 它的基本思想是将Mapreduce的jobtracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统资源的管理和分配，而...
yarn 通过api查询sql任务
iris_csdn的博客
07-05 896
针对appid：application_1620381918837_260462 替换成jobid：job_1620381918837_260462 然后再替换到JobHistory的API接口 获取到的数据是个很大的json，从里面找到hive.query.string 的值，通过URLDecoder.decode(json,"UTF-8")解析后就是mr的sql了 https://www.cnblogs.com/tonglin0325/p/12455825.html ...
Hadoop中hdfs与yarn命令大全
m0_58258383的博客
07-28 686
随着大数据平台的不断发展，我们对hadoop使用也越来越多。同时hadoop许多命令在使用时会产生遗忘和参数选择的问题出现。本文将hadoop平台上的hdfs与yarn常用命令进行汇总解释。
spark系列-应用篇之通过yarn api提交Spark任务
马各马它
08-23 9667
前言 在工作中，大部使用的都是hadoop和spark的shell命令，或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务，感觉yarn的api还是挺全面的，但是调用时需要传入很多参数，而且会出现一些诡异的问题。虽然最终使用livy来提交任务，但是通过yarn api提交任务可以帮助使用者更好的理解yarn，而且使用yarn查询任务还是不错的。至于liv...
【Spark SQL】2、YARN的学习
我就是我的博客
01-16 358
YARN概述 YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG。 ResourceManager和NodeManager构成了数据计算框架。 ResourceManager是在系统中的所有应用程序之间仲裁资...
在Yarn上运行spark-shell和spark-sql命令行
热门推荐
smile_lty的博客
03-27 1万+
关键字：spark-shell on yarn、spark-sql on yarn 前面的文章《Spark On Yarn：提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候，需要使用spark-shell和spark-sql命令行，除了Local和Spark standalone模式，spark-shell和spa...
WordCount代码实现及分析
ZZJXP的博客
05-12 354
q
HDFS读写流程、YARN_MR提交运行流程
保护胖丁
06-17 599
优秀是一种习惯
flink sql gateway
最新发布
05-17
它允许用户通过 HTTP 请求提交 SQL 查询并获取结果，而无需直接与底层的 Flink 集群进行复杂的交互[^1]。 #### 启动方式 Flink SQL Gateway 可以通过 `sql-gateway.sh` 脚本启动，该脚本位于 Flink 安装目录的 `bin...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值