hive hms和hs2的sql执行日志分析

原创 已于 2024-12-04 07:59:55 修改 · 1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #sql #hadoop

于 2024-12-04 07:58:43 首次发布

HMS日志：
2024-12-02 15:39:20,811 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: [pool-8-thread-114]: 114: source:10.11.17.999 get_all_databases
2024-12-02 15:39:20,812 INFO org.apache.hadoop.hive.metastore.HiveMetaStore.audit: [pool-8-thread-114]: ugi=hive ip=10.11.17.999 cmd=source:10.11.17.999 get_all_databases --请求ip及请求的数据内容

HS2日志：
[HiveServer2-Handler-Pool: Thread-190281]: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe
[HiveServer2-Handler-Pool: Thread-190281]: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Adding operation: OperationHandle [opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced]
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 编译开始时间 --根据sql找到位置，根据Thread-190281 查询线程运行，根据产生的queryId，往后查sql执行。
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Semantic Analysis Completed
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:database_name, type:string, comment:from deserializer)], properties:null)
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Initializing operator LIST_SINK[0]
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Completed compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.014 seconds 编译结束时间
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Resetting thread name to HiveServer2-Handler-Pool: Thread-190281
[HiveServer2-Background-Pool: Thread-191087]: Executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 执行sql开始！
[HiveServer2-Background-Pool: Thread-191087]: Starting task [Stage-0:DDL] in serial mode
[HiveServer2-Background-Pool: Thread-191087]: results : 12
[HiveServer2-Background-Pool: Thread-191087]: Completed executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.003 seconds 执行sql结束时间！
[HiveServer2-Background-Pool: Thread-191087]: OK
[HiveServer2-Handler-Pool: Thread-190281]: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe
[HiveServer2-Handler-Pool: Thread-190281]: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281
。。。。。。
[c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281]: Closing operation: OperationHandle [opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced]

sunxunyong
关注
Hive Metastore、Hive server和Hive thrift服务
JustinMars的博客
07-17 1095
Hive Metastore、Hive server和Hive thrift服务介绍
如何获取特定 HIVE 库的元数据信息如其所有分区表和所有分区
明哥的IT随笔
06-20 911
有时我们需要获取特定 HIVE 库下所有分区表，或者所有分区表的所有分区，以便执行进一步的操作，比如通过 使用 HIVE 命令 MSCK REPAIR TABLE table_name sync partitions 修复 HIVE 元数据与 HDFS 数据在分区上的不一致性。 怎么获取这些 hms 元数据呢？获取 HMS 元数据，大体有以下几种方案：相关的 hive sql 命令有: 2.2 查询 hive 库对应的 hdfs 目录的结构信息，并基于这些结构信息，解析获取 hms 元数据 hdfs 目录
查看Hive SQL执行日志
Alex
06-21 3312
yarn logs -applicationId application_1622563480758_1071631
Hive基础知识（六）：Hive 配置运行日志信息、打印当前库和表头、参数配置方式
zuodingquan666的博客
01-10 2147
另外，Hive 也会读入 Hadoop 的配置，因为。
Hive日志介绍
weixin_42795092的博客
06-09 1697
Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>
Hive实战之日志分析
wulantian的专栏
06-03 9707
Hive实战之日志分析  学习，存储，转载 一、场景介绍 本文主要讲述使用 hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。 集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计项，包括关键词搜索量
日志审计系统_深入理解HiveServer2审计日志_0基础白帽子入门教程
程序员六七的博客
07-26 558
HiveServer2审计日志是监控和诊断Hive Server2操作的重要工具。本文将详细解析审计日志的结构和内容，以及如何利用这些信息。
梧桐云原生分析型数据库对接HIVE
easilyyy的博客
10-28 728
目前O域原始信令消息每天达到500-700TB，针对超大规模数据量目前采用的方案是将信令数据直接入库到HIVE，供后续业务分析。由于 HIVE HQL 表达能力有限和Hive效率较低，所以通过采用梧桐云原生分析型数据库对接HIVE，将HIVE数据作为梧桐云原生分析型数据库的外表，通过梧桐云原生分析型数据库SQL引擎进行统计分析。
大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复
明哥的IT随笔
09-02 2216
大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复 前言 大家好，我是明哥！ 本片博文是“大数据问题排查系列”之一，讲述某HIVE SQL 作业因为 HIVE 中的元数据与 HDFS中实际的数据不一致引起的一个问题的排查和修复。 以下是正文。 问题现象 客户端报错如下： Unable to move source xxx to destination xxx 问题分析 客户端的报错信息，并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hi
StarRocks Lakehouse 快速入门——Hive Catalog
StarRocks的博客
10-17 1148
Apache Hive 是一个分布式、容错的数据仓库系统，能够实现大规模的分析。Hive Metastore (HMS) 提供了一个元数据存储库，可以轻松分析这些元数据以做出基于数据的决策，因此它是许多数据湖架构中的关键组件。Hive 构建于 Apache Hadoop 之上，并通过 HDFS 支持在 S3、ADLS、GS 等存储上的数据管理。Hive 允许用户使用 SQL 读取、写入和管理 PB 级的数据。
hiveServer2logparser:HS2 日志的 Perl 解析器
05-30
HiveServer2日志摘要器 用法 #download latest script wget https://raw.githubusercontent.com/abajwa-hw/hiveServer2logparser/master/hiveServer2logparser.pl #run script perl hiveServer2logparser.pl <path> 输出 其中包含为便于在Excel中过滤而运行的查询摘要
大数据 hive 15--hive日志分析案例
zhang__rong的博客
01-09 3761
1.1 项目来源 本次实践的目的就在于通过对该技术论坛网站的tomcat access log日志进行分析，计算该论坛的一些关键指标，供运营者进行决策时参考。 PS：开发该系统的目的是为了获取一些业务相关的指标，这些指标在第三方工具中无法获得的； 1.2 数据情况 该论坛数据有两部分： （1）历史数据约56GB，统计到2012-05-29。这也说明，在2012-05-29之前，日志文件都...
HiveServer2 获取日志
热门推荐
KeithChen's的博客
12-21 1万+
讨论的版本为: HiveServer2 版本 : 2.3.1 + tez  由于最近在弄WEBIDE，其中在连接Hiveserver2的时候，在Hiveserver2的获取日志的方式，发现了两个坑，找了许多文献，也没有找到解决的办法。 其中一个坑，有一个同事在看到hive的BUG反馈中，看到一些类似情况，解决的。 而另外一个坑，是走了很多很多崎岖的路途，一步一步的发现出来的解决办法。
HiveServer2频繁宕机 - Hive踩坑记录
大数据研究小白
08-04 1749
在跑定时任务一段时间后，会出现管道断开的错误日志，并且Hs2的10000端口宕机。
5.Hive Server2
小羽的博客
07-21 477
修改hdfs的超级用户权限 <!--在hdfs集群的core-site.xml文件中添加如下配置文件--> <property> <!--修改的是hdfs权限，如果是aa用户就写成--><!--hadoop.proxyuser.aa.groups--> <name>hadoop.proxyuser.root.groups</name> <!--这里用到的是*，所有用户都可以被伪装--> <!--可以指添加几个
hadoop 3.x大数据集群搭建系列11- 配置Hive metastore及hive-server2
只是甲的博客
12-08 1168
hadoop 大数据平台搭建 hive 元数据服务 hiveserver2 服务 dbeaver连接 hive
CDH6 Hive开启审计日志，审查SQL_hive审计日志，2024年最新一线互联网大厂面试真题系统收录
2401_84159813的博客
04-15 506
论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！AUDIT为新加的appenders, 其它为HIVE本身默认带的，如果没有加上，则出现原来的HMS日志没有输出。cdh->hive->配置，搜索“Hive Metastore Server 日志记录高级配置代码段（安全阀）”2.2 配置hive metastore server 的log4j2。2.1 开启操作日志记录。
CDH6 Hive开启审计日志，审查SQL_hive审计日志(1)，2024年最新讲的真透彻
2401_84159813的博客
04-15 563
hive默认log4j2配置，可以在/var/run/cloudera-scm-agent/process/*hive-HIVEMETASTORE路径下找最新的hive-log4j2.properties 文件。论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！AUDIT为新加的appenders, 其它为HIVE本身默认带的，如果没有加上，则出现原来的HMS日志没有输出。（3）配置完重启即可查看日志.
java jdbc执行hivesql时，获取sql执行日志以及进度信息
最新发布
09-19
<think> 在Java中使用JDBC执行HiveSQL时，获取SQL执行日志和进度信息是一个常见的需求。Hive的JDBC驱动提供了一些机制来获取这些信息。 通常，我们可以通过以下方式获取执行日志和进度： 1. 使用`HiveStatement`的`getQueryLog()`方法获取执行日志。 2. 使用`HiveStatement`的`getQueryLog()`方法返回的日志信息，通常包含进度信息。 但是，需要注意的是，Hive JDBC驱动（特别是较新版本）可能不再支持`getQueryLog()`方法。在Hive 2.0以后，推荐使用`setLogDivertEnabled(true)`来启用日志重定向，然后通过`HiveStatement`的`getQueryLog()`方法获取日志。然而，在Hive 3.x中，`getQueryLog`方法已被标记为过时，并且可能返回空值。 因此，替代方案是使用Hive的钩子（Hook）或者通过YARN的API来获取应用程序的日志，但这超出了JDBC的范围。 下面介绍一种在Hive JDBC中获取日志和进度信息的常用方法（适用于Hive 2.x，部分特性在Hive 3.x中可能不可用）： 步骤： 1. 在创建连接时，设置`hive.server2.logging.operation.enabled`为`true`。 2. 在连接URL中添加参数：`hive.server2.logging.operation.enabled=true`。 3. 然后，在Statement执行之前，将Statement转换为`HiveStatement`，并调用`setLogDivertEnabled(true)`方法。 4. 执行查询后，通过`HiveStatement.getQueryLog()`获取日志。 但是，请注意：`getQueryLog()`方法返回的是从开始执行到调用该方法时的所有日志。如果查询尚未完成，那么日志可能不完整。 另外，进度信息通常以如下形式出现在日志中： `Stage-1: map = 0%, reduce = 0%` `Stage-1: map = 50%, reduce = 0%` ... 因此，我们可以定期调用`getQueryLog()`来获取最新的日志，并解析其中的进度信息。 下面是一个示例代码： 注意：需要引入Hive JDBC驱动，如`hive-jdbc`（版本要与Hive服务器匹配）。 示例代码： ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import org.apache.hive.jdbc.HiveStatement; public class HiveJdbcWithLogs { public static void main(String[] args) throws SQLException, ClassNotFoundException { // 加载驱动 Class.forName("org.apache.hive.jdbc.HiveDriver"); // 连接URL，注意设置日志操作启用 String url = "jdbc:hive2://<hive_server2_host>:<port>/default;hive.server2.logging.operation.enabled=true"; Connection conn = DriverManager.getConnection(url, "<username>", "<password>"); try (Statement stmt = conn.createStatement()) { // 转换为HiveStatement if (stmt instanceof HiveStatement) { HiveStatement hiveStmt = (HiveStatement) stmt; // 启用日志重定向（如果驱动支持） hiveStmt.setLogDivertEnabled(true); // 异步执行查询，因为我们需要在查询执行过程中获取日志 final String sql = "SELECT * FROM your_table"; // 替换为你的查询 Thread thread = new Thread(() -> { try { // 执行查询（如果是查询，可以用executeQuery，但如果考虑到可能有DDL/DML，使用execute） boolean hasResultSet = hiveStmt.execute(sql); // 如果有结果集，可以处理结果 if (hasResultSet) { try (ResultSet rs = hiveStmt.getResultSet()) { while (rs.next()) { // 处理结果集... } } } } catch (SQLException e) { e.printStackTrace(); } }); thread.start(); // 在查询执行过程中，定期获取日志 while (thread.isAlive()) { // 每隔一段时间获取一次日志 try { Thread.sleep(1000); // 每秒获取一次 } catch (InterruptedException e) { Thread.currentThread().interrupt(); } // 获取日志 String logs = hiveStmt.getQueryLog(); if (logs != null && !logs.isEmpty()) { System.out.println("=============================="); System.out.println(logs); System.out.println("=============================="); // 在这里解析日志，提取进度信息 // 例如：查找日志中是否包含进度百分比的字符串 } } // 线程结束后，再次获取一次确保所有日志都被捕获 String finalLogs = hiveStmt.getQueryLog(); if (finalLogs != null && !finalLogs.isEmpty()) { System.out.println(finalLogs); } } else { // 如果不是HiveStatement，则不支持获取日志 System.out.println("Statement is not HiveStatement"); } } conn.close(); } } ``` 注意： 1. 上述代码中，我们使用了一个单独的线程来执行查询，因为`execute`方法是阻塞的，所以我们在主线程中定期获取日志。 2. 在获取日志时，我们每秒获取一次，并打印出来。你可以根据需要解析日志中的进度信息。 3. 请替换`<hive_server2_host>`, `<port>`, `<username>`, `<password>`以及SQL语句。 然而，这种方法有以下限制： - 在Hive 3.x中，`getQueryLog`方法可能已被废弃，甚至返回空。在这种情况下，可能需要考虑其他方式，如通过YARN REST API来获取任务进度（需要知道YARN Application ID，这可以通过Hive的日志或者Hive的配置来获取）。 - 另外，如果查询执行非常快，可能获取不到中间日志。 替代方案： - 使用Hive的`hive.query.id`属性，然后通过YARN的API来跟踪任务进度。但这需要额外的步骤来获取YARN应用ID，并且需要访问YARN的资源管理器。 由于Hive版本差异，上述方法可能不适用于所有情况。建议查阅所使用的Hive版本对应的JDBC驱动文档。 如果上述方法在你的Hive版本中不可用，可能需要考虑使用Hive的WebHCat或者通过HiveServer2的日志文件来获取信息。 最后，请注意，频繁调用`getQueryLog()`可能会对性能有一定影响。 §§相关问题§§: 1. 在Hive JDBC中，如何获取正在执行的查询的YARN应用ID？ 2. HiveStatement的setLogDivertEnabled方法有什么作用？ 3. 如何通过YARN REST API获取Hive查询的进度？ 4. 在Hive 3.x中，替代getQueryLog的方法是什么？ </think> 在Java中使用JDBC执行Hive SQL时获取执行日志和进度信息，可以通过Hive JDBC特有的`HiveStatement`类实现。以下是详细解决方案： ### 解决方案代码 ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import org.apache.hive.jdbc.HiveStatement; public class HiveLogFetcher { public static void main(String[] args) { String driverName = "org.apache.hive.jdbc.HiveDriver"; String connectionURL = "jdbc:hive2://<your_hive_server>:10000/default"; String user = "<username>"; String password = "<password>"; try { // 1. 加载JDBC驱动 Class.forName(driverName); // 2. 建立连接（开启日志重定向） Connection conn = DriverManager.getConnection( connectionURL + ";hive.server2.logging.operation.enabled=true", user, password ); // 3. 创建HiveStatement HiveStatement stmt = (HiveStatement) conn.createStatement(); // 4. 启用日志重定向（关键步骤） stmt.setLogDivertEnabled(true); // 5. 执行SQL String sql = "SELECT * FROM your_table"; // 替换为你的HiveQL ResultSet rs = stmt.executeQuery(sql); // 6. 实时获取日志和进度 while (rs.next() || !stmt.isClosed()) { // 获取并解析日志内容 String logs = stmt.getQueryLog(); if (logs != null && !logs.isEmpty()) { parseLogs(logs); // 自定义日志解析方法 } // 获取进度信息（如果有） String progress = stmt.getQueryPlan().getProgressUpdate(); if (progress != null) { System.out.println("Progress: " + progress); } Thread.sleep(1000); // 每秒检查一次 } // 7. 关闭资源 rs.close(); stmt.close(); conn.close(); } catch (Exception e) { e.printStackTrace(); } } // 自定义日志解析方法（示例） private static void parseLogs(String logs) { // 示例：提取MapReduce进度 if (logs.contains("MapReduce")) { String[] lines = logs.split("\n"); for (String line : lines) { if (line.contains("map =") || line.contains("reduce =")) { System.out.println("[Job Progress] " + line.trim()); } if (line.contains("Completed executing")) { System.out.println("[Execution Completed] " + line.trim()); } } } // 输出原始日志（可选） System.out.println("Raw Logs:\n" + logs); } } ``` ### 关键原理说明 1. **日志重定向机制**： - 连接参数 `hive.server2.logging.operation.enabled=true` 启用操作日志 - `stmt.setLogDivertEnabled(true)` 将HiveServer2的日志重定向到JDBC客户端 2. **日志内容解析**： - `getQueryLog()` 返回完整的执行日志（包含后台MapReduce任务进度） - 日志格式通常为： ``` Progress: Stage-1: map=50%, reduce=0% Completed executing command... ``` 3. **进度获取原理**： - Hive查询会转换为MapReduce/Tez任务 - 进度信息通过YARN资源管理器生成 - JDBC驱动通过Thrift API从HiveServer2获取实时状态 4. **注意事项**： - **驱动依赖**：需使用Hive JDBC驱动（Maven: `org.apache.hive:hive-jdbc`） - **版本兼容**：Hive 2.x+ 支持完整日志重定向，Hive 1.x功能有限 - **性能影响**：频繁获取日志会增加网络开销（建议1秒间隔） ### 日志解析要点 日志中关键进度信息示例： ``` INFO : Map 1: 0/1 Stage-1: map=0%, reduce=0% INFO : Map 1: 1/1 Stage-1: map=50%, reduce=0% INFO : Map 1: 1/1 Stage-1: map=100%, reduce=0% INFO : Reducer 2: 0/1 Stage-1: map=100%, reduce=0% INFO : Reducer 2: 1/1 Stage-1: map=100%, reduce=100% ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值