hive 查看历史job的执行sql

最新推荐文章于 2024-06-29 17:56:16 发布

原创最新推荐文章于 2024-06-29 17:56:16 发布 · 4.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #yarn

大数据专栏收录该内容

4 篇文章

订阅专栏

本文针对线上Hive SQL执行耗时较长的问题进行定位与优化，通过调整job配置，将全量查询改为增量，并限制mapperreduce数量，显著提升查询速度。

问题

线上hadoop有个hive sql执行较耗时，1hour 8min；收到运维预警

定位

查找job history 页面

http://node:8088/cluster/app/application_xxxx_xx

http://node:8088/proxy/application_xxxx_xx

http://node:19888/jobhistory/job/job_xxxx_xx

选取Local logs

hadoop-cmf-yarn-JOBHISTORY-node.log.out

从日志中查找到 job的conf.xml文件路径

hdfs://nameservice:8020/user/history/done/2020/02/01/001182/job_xxxx_xx_conf.xml

conf.xml中查找 hive.query.string

<name>hive.query.string</name>

hadoop fs -text /user/history/done/2018/06/27/000008/job_1526892856952_8007_conf.xml

解决

全量修改为增量
set 参数限制mapper reduce 数量

set mapred.max.split.size=1024000000;
set mapred.min.split.size.per.node=1024000000;
set mapred.min.split.size.per.rack=1024000000;

set mapred.reduce.tasks=10;

参考

http://blog.sina.com.cn/s/blog_6dd718930102xrhl.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

FireCoder

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

Hive on Mr Job重复执行问题排查

u013332124的专栏

06-05

3万+

文章目录一、问题描述二、问题排查进度三、Hive执行任务的具体逻辑3.1、Hive源码解析3.2、生成重复job问题分析四、问题总结和代码修复一、问题描述业务反馈某张表的落地数据总大小比平时多了一倍。平时正常落地6-7G，而这次落地的数据量有14G。后该任务重跑后数据恢复正常：表落地数据使用的相关sql如下(为了不暴露公司相关业务信息，只展示sql的主体结构)： set mapreduce.job.queuename=xxxxx; insert overwrite table xxxxxxxx

hive sql执行优化策略集合

qq_24022561的博客

06-11

1115

mapred.min.split.size.per.node和mapred.min.split.size.per.rack含义是单节点和单机架上的最小split大小。set hive.exec.max.dynamic.partitions.pernode=1000 （默认1000）表示每个maper或reducer可以允许创建的最大动态分区个数，可以设置大一些，主要看表分区有多少个，超出则会报错。3、mapper数量调整：一般来讲，如果输入文件是少量大文件，就减少mapper数；

参与评论您还未登录，请先登录后发表或查看评论

查看Hive SQL执行日志

Alex

06-21

3368

yarn logs -applicationId application_1622563480758_1071631

hive 查看在hive中输入的所有历史命令

热门推荐

不是一枚开发

06-29

7万+

查看在hive中输入的所有历史命令：（1）进入到当前用户的根目录（2）查看. hivehistory文件

HiveSQL-历史数据汇总

weixin_42189651的博客

12-29

545

怎么将每个月的数据汇总，汇总成字符串 “0101010” 的形式？字符串的长度是这个月天数的总日期，比如1月份就有31个字符，2月是29或者28个字符？tableA 数据表字段：emp_id ,pos_id,pos_nm,job_id，date。其中date是yyyymmdd形式存放的日期。现在有员工的职位历史变动数据。

linux终端hive中执行sql语句,Hive的操作

weixin_35809056的博客

05-11

3088

一.Hive基本操作(1)启动hivebin/hive(2)查看数据库show databases;(3)打开默认数据库use default;(4)显示default数据库中的表show tables;(5)创建一张表create table student(id int, name string) ;(6)显示数据库中有几张表show tables;(7)查看表的结构desc student;...

在Hadoop监控页面如何查看Hive的完整SQL

三分地

10-13

7222

如图，这里只能看到简单的一段SQL，几乎看不出具体在执行什么任务。此时可以点开一个application，点击Tracking URL: ApplicationMaster 进入到MapReduce Job job_1409xxxx，Job页面点击左侧的Configuration 这里有此Job对应的所有参数，在右上角的搜索框中输入string, 其中key为 hive.

hive 实现job并发执行

qq_27552579的博客

05-19

1173

hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。 set hive.exec.parallel=true; 例如： sql=""" set hive.exec.parallel=true; use database; select a,b,c from ( select a1 as

hive sql 卡在提交JOB，mapreduce无法正常执行。

weixin_43930715的博客

11-19

4161

hive sql卡在提交job，无法执行mapreduce 在我编写hivesql去查询的时候只要涉及到mapreduce阶段的sql就会卡在提交job的地方。而我们使用不涉及mapreduce的sql，却能够正常的查询到数据。解题思路我先查看我的hdfs集群各个节点的服务是否成功启动，使用jps查看。查看发现hdfs正常启动后，我区分是mapreduce的问题还是sql的问题，进入hadoop/share/hadoop/mapreduce/ 目录下，执行自带的mapreduce计算π值，发现依旧

大数据 Hive - 实现SQL执行

善守者

01-08

1784

从图上看，join的MapReduce计算过程和前面的group by稍有不同，因为join涉及两张表，来自两个文件（夹），所以需要在map输出的时候进行标记，比如来自第一张表的输出Value就记录为<1, X>，这里的1表示数据来自第一张表。这样经过shuffle以后，相同的Key被输入到同一个reduce函数，就可以根据表的标记对Value数据求笛卡尔积，用第一张表的每条记录和第二张表的每条记录连接，输出就是join的结果。问题的答案，也就是这个神奇的工具就是Hadoop大数据仓库Hive。

hivesql执行过程

xxx

09-09

1216

也就是说，hive sql在客户端被编写之后会发送到hive的服务端，服务端首先会对编写的sql进行词法解析和语法解析，检测语法的正确性，然后会对sql进行语义分析，如果语义分析没有问题，则进行下一步sql优化工作，优化工作完毕之后，会生成sql的执行计划，然后最终会生成一系列map reduce任务，从而得到结果。

hiveSQL记录

aaa1117a8w5s6d的专栏

03-25

1557

CREATE EXTERNAL TABLE ks3_nginx_pv( host_ip string, idc string, upstream_ip string, bucket_owner string, `bucket` string, time bigint, time_id int, remote_ip st

查看hive job的log

weixin_38670967的博客

03-07

2020

mapred job -history JOB_ID 如：mapred job -history job_1551943436571_0044 JOB_ID可在yarn UI中查看到。

job history 的查看

weixin_33889665的博客

12-13

336

linux shell 可以启动mapredhistoryserver 然后根据显示的端口hostname+port进行访问（一般默认端口是19888）转载于:https://www.cnblogs.com/yaohaitao/p/6169132.html

hive之使用sql进行增量结合历史数据分析

君永夜

04-21

1411

1.需求已知用户的月度点击次数信息，如下图，第一列用户名称，第二列月份第三列该月用户点击次数，要求扩充维度，每行增加两列信息，当月包括当月前最大点击次数和当月包括当月前总点击次数。 2.hive sql的统计分析创建月度点击统计表 CREATE TABLE use_click_month( use_name string, date_month string, count int )r...

漫谈大数据 - HiveSQL总结（二）查询操作

引用原创内容标明出处即可

04-21

4209

导语：HiveSQL各关键字详解，hive函数大全，类似于个人记录工具书，后续遇到其他的也会继续加进来。

详解HiveSQL执行计划

Sunny的专栏

06-29

1932

Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。。explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。学会explain，能够给我们工作中使用hive带来极大的便利！

【原创】大叔经验分享（1）在yarn上查看hive完整执行sql

weixin_30765505的博客

12-07

1354

hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？通过以下方法可以查看： 1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configura...

根据 Application ID找到 Hive 的 SQL 语句

houzhizhen的专栏

08-11

2207

根据 Yarn 的 Application 找到 Hive 的 SQL，需要根据执行引擎（tez 或者 mr）的不同有不同的方法。以下以 TEZ 引擎为例。

hive SQL如何拆分为job和task

最新发布

08-14

Hive SQL的执行过程可以分为多个阶段，其中最关键的是如何将SQL语句拆分为多个Job和Task，以便在分布式计算框架（如MapReduce或Tez）上执行。整个过程主要包括以下几个步骤： 1. **SQL解析与抽象语法树（AST）生成** Hive首先通过HiveQL解析器将SQL语句转换为抽象语法树（AST），这一过程基于ANTLR定义的语法文件（如`HiveParser.g`）进行[^4]。该AST结构表示了SQL语句的逻辑结构，便于后续的语义分析。 2. **语义分析与逻辑计划生成** 在语义分析阶段，Hive会检查表和列的元信息、权限等，并将AST转换为一个逻辑执行计划（Logical Plan）。此阶段还会确定SQL操作符（Operator Tree），包括Map阶段和Reduce阶段的算子[^1]。 3. **逻辑计划优化** Hive对逻辑计划进行优化，包括谓词下推（Predicate Pushdown）、列裁剪（Column Pruning）、Join优化等。这些优化措施有助于减少数据传输量并提高执行效率。 4. **物理计划生成与Job划分** 在生成物理执行计划时，Hive会根据算子类型（如ReduceSink）来划分Job。具体来说，当遇到ReduceSink操作符时，Hive会将其划分为一个新的Stage，类似于Spark中通过Shuffle划分Stage的机制。每个Stage最终会被转换为一个MapReduce Job或Tez DAG任务[^1]。 5. **Task生成与执行调度** 每个Job内部会被进一步拆分为多个Task，包括Map Task和Reduce Task。Hive根据输入数据的分片情况生成相应的Map Task，并根据ReduceSink的分区策略生成Reduce Task。这些Task会被提交到YARN等资源调度系统上并发执行。 6. **并行执行优化** Hive支持通过设置参数来提升作业的并行度。例如，启用并行执行模式后，多个Job可以在没有依赖关系的情况下并发执行： ```sql set hive.exec.parallel=true; set hive.exec.parallel.thread.number=8; ``` 这样可以显著缩短整体执行时间，特别是在处理多个独立子任务时[^2]。 ### 示例：Hive SQL执行流程中的Job划分假设执行以下Hive SQL： ```sql SELECT a.id, b.name FROM table_a a JOIN table_b b ON a.id = b.id WHERE a.status = 'active'; ``` 执行流程如下： - **Stage 1（MapReduce Job 1）**： - Map Task：读取`table_a`和`table_b`的数据，执行过滤条件`a.status = 'active'`，并为Join操作准备数据。 - Reduce Task：根据`id`进行Shuffle和Sort，执行Join操作，输出结果。 - **Stage 2（可选，如果后续有聚合操作）**： - 如果SQL中包含`GROUP BY`或`ORDER BY`等操作，可能生成新的Stage，对应新的MapReduce Job。