通过yarn 查看完整的hql语句

最新推荐文章于 2025-08-04 15:17:18 发布
原创 最新推荐文章于 2025-08-04 15:17:18 发布 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文介绍了一种方法来查找正在执行或已完成的Hive任务所对应的SQL语句。通过点击TrackingURL，然后进入job配置页面，在搜索框中输入'hive.query.string'，可以找到对应的SQL语句。

流程：
点击Tracking URL—->左侧job下的configuration—->在右侧Search 搜string(hive.query.string)对应的value就是现在执行或者已经完成的hive程序对应的sql语句

Yarn 上提交的job对应的sql查询
fengfengchen95的博客
12-04 3921
一.在yarn上查看类型是mapreduce 的job对应的sql 1.进入hadoop的监控页面，选择类型是MAPREDUCE的应用。   2.点击上图的application_id进入此application的项目页面信息，如下图所示：  3，点击上图的Tracking URL:对应的History查看历史运行情况，如下图    4.点击最左边的：Configurati...
Hive3.x执行HQL语句报错 exit code143/ memory limit
qq_31454379的博客
04-25 997
Hive版本：apache-hive-3.1.2-bin.tar.gz，执行引擎TEZ，Hadoop版本3.1.3 hive成功进入命令行终端 建表插入数据出现以下错误（虚拟机物理内存2G，交换分区2G） 分析原因是虚拟内存大小限制导致； 1.有条件的开发可以直接把机器的物理内存调大； 2.调整Hadoop配置参数 yarn-site.xml <property> &...
yarn查看已提交任务sql
weixin_46680124的博客
03-06 671
位置：mapreduce.workflow.name。yarn查看已提交任务sql及其参数。
Hive 系列（一）—— Hive 简介及核心概念
weixin_30362083的博客
08-20 258
一、简介 Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 特点： 简单、容易上手 (提供了类似 sql 的查询语言 hql)，使得精通 sql 但是不了解 Java 编程的人也能很好地进行大数据分析； 灵活性高，可以自定义...
获取YARN中实际执行的sql文本
qq_39625998的博客
05-08 1472
笔者在此之前一直想找到contains中运行的sql命令，相信有不少小伙伴和笔者有着相同的疑惑。 偶然间发现了这个参数，可以借助此参数快速找到sql文件。 命令如下: hdfs dfs -cat /ats/XXX/application_156000000000_0000*/*/* \ |grep mapreduce.workflow.name \ |awk 'BEGIN{RS="\",\""}{$1=$1;print $0}' \ |grep mapreduce.workflow.name \
大数据学习方向，从入门到精通
weixin_41780944的博客
06-19 3455
很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。如果你想学习，那么首先你需要学会编程，其次你需要掌握数学，统计学的知识，最后融合应用，就可以想在数据方向发展，笼统来说，就是这样的。...
Hive运行hql报错：org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container
IT Baicn的博客
01-14 656
错误 Diagnostic Messages for this Task: Container launch failed for container_1547232045235_0036_02_000009 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. Th...
Hive SQL语句操作
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2518
本实验任务主要完成基于Hive环境执行一些常用的Hive SQL语句操作，通过完成本实验任务，要求学生熟练掌握Hive SQL的常用语句，掌握Hive的基础和操作。掌握Hive的数据类型   掌握hive的数据类型的使用   掌握hive的DDL语句的操作本次环境是：Ubuntu16.04+hadoop-2.7.3.+apache-hive-1.2.2-bin数据量巨大且保存时间长； 在大量数据上进行复杂的批量运算； 数据在计算之前已经完全到位，不会发生变化； 能够方便的查询批量计算的结果； 不像在线计算当
Hive 3.1.2 大数据处理与HQL查询技术解析
其中，用户可通过CLI命令行、JDBC/ODBC连接或Web UI方式提交HQL语句；Driver负责接收查询请求并协调各模块工作；SQL Parser解析HQL语句生成抽象语法树（AST）；Compiler将AST转换为逻辑执行计划；Optimizer对其进行...
41、Spark SQL与YARN应用开发全解析
最新发布
c2d3e4f的博客
08-04 64
本文全面解析了Spark SQL与YARN应用开发的核心内容。从Spark系统架构和RDD的操作入手，详细介绍了Spark SQL的功能与实际应用，如通过SQL查询计算股票平均价格。同时，深入探讨了YARN应用开发的基础知识，包括主要角色、资源分配、容器启动流程，以及开发过程中可能面临的挑战和解决方案。最后，通过一个简单示例演示了如何编写YARN应用，并展望了Spark SQL和YARN在未来大数据领域的发展前景。
通过Hive JDBC提交的查询, 如何获取其在Yarn上的Application ID
Copperfield的技术成长专栏
07-22 7600
数据平台上需要封装Hive查询，只提供API给业务方使用，代码中通过Hive JDBC完成将查询语句向Hive提交，等待执行完成，结果解析的功能. 用户提交查询之后意识到查询语句错误(非语法错误)，不想等待错误的语句执行完成后再次提交. 由于用户没有yarn client的权限，kill task的操作也需要通过API提供，因此在提交查询语句时需要获取其在Yarn上的Application I...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
weixin_30765505的博客
12-07 1346
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configura...
yarn 通过api查询sql任务
iris_csdn的博客
07-05 915
针对appid：application_1620381918837_260462 替换成jobid：job_1620381918837_260462 然后再替换到JobHistory的API接口 获取到的数据是个很大的json，从里面找到hive.query.string 的值，通过URLDecoder.decode(json,"UTF-8")解析后就是mr的sql了 https://www.cnblogs.com/tonglin0325/p/12455825.html ...
yarn系列-1.yarn中查看jobs日志的两种方式
热门推荐
拾春华 让思绪飞扬
02-03 2万+
查看yarn日志的两种方式 1.界面版 1）点击application 2）输入即可 2.命令行版 yarn logs -applicationId application_1517538889175_2550 > logs.txt 通过vim进行查看logs.txt文件
查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL
曾经是个DBA
05-27 3387
查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL 这个默认界面只能看到这个 Job 相关 SQL 的缩略版，没法看到完整的 SQL 很是蛋疼。 但最近发现只要点到 Configuration 里搜索 query.string，就能看到完整版了。 我不会是最后一个知道的吧？ ...
hive查询语句
喜上眉梢
11-14 1万+
Hive查询 1、hive模糊搜索表 show tables like '*name*'; 2、查看表结构信息 desc formatted tablename; desc table_name 3、查看分区信息 show partitions tablename; 4、根据分区查询数据 select table_coulm from tablename where partit
查看yarn当前运行任务列表
07-22 1万+
Author： kwu --- 查看yarn当前运行任务列表，可使用如下命令查看：
yarn－cluster 和yarn－client区别
qiezikuaichuan的专栏
11-07 1732
spark支持可查吧的集群管理模式（standalone／mesos以及yarn）；集群管理负责启动executor进程，编写spark application的人根本不需要知道spark用的是什么集群管理。spark 支持的三种集群模式，这三种集群模式都由两个组件组成：master和slave。 master服务（yarn resourcemanager  ，mesos master 和spar
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值