hive sql ast

最新推荐文章于 2025-05-10 15:32:40 发布
原创 最新推荐文章于 2025-05-10 15:32:40 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #hive 

- TOK_CREATETABLE

      - TOK_TABNAME
      
      - TOK_LIKETABLE
      
      - TOK_QUERY            <------------------------------------------------------<down
      
             -  TOK_FROM
      
                      - TOK_TABREF
      
                                - TOK_TABNAME
                      - TOK_JOIN
                            - =

                            - TOK_TABREF

                            - TOK_SUBQUERY

                                - TOK_UNIONALL


                      - TOK_SUBQUERY
                            - TOK_UNIONALL
      
                                  - TOK_QUERY    ----------------------------------->up
      
                                  - alias
      
                            - TOK_QUERY

                            - alias  
      
             -  TOK_INSERT
      
                      - TOK_DESTINATION
      
                      - TOK_INSERT_INTO
                                - TOK_TAB
                      - TOK_SELECT
      
                             - TOK_SELEXPR
      
                                      - TOK_ALLCOLREF
                                      - TOK_TABLE_OR_COL
                                            - colname
                      - TOK_WHERE
      
                      - TOK_GROUPBY
      
      - alias












especially:
	 - TOK_SUBQUERY
             - TOK_UNIONALL
		- TOK_QUERY 
	 	- TOK_UNIONALL
	
		-TOK_QUERY
             - alias   










 


























                

        

    


  



    



                



	

		

			

				
					
基于Hive解析AST的模仿sqlFlow无中间表的字段级数据血缘的后端

				
			

			

				

					mizuhokaga的博客
				

				

					11-30
					
					2449
					
				

			

		

		

			
				
0、前言
之前写了篇 基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面，是利用jsplumb.js模仿sqlflow的前端。
然后有些小伙伴想看后端代码，当时第一版代码写得太乱了，所以就没直接发。磨了1个月，虽然还有bug但是也算基本能跑了。

			
		

	



                

            
              



	

		

			

				
					
hive ast

				
			

			

				

					
				

				

					10-18
					
					784
					
				

			

		

		

			
				
http://blog.youkuaiyun.com/zhifeidie/article/details/6919014
 
 
hive就是一个将sql语句转化为MR工具
hive的工作原理：
1、使用antlr定义sql语法，（详细见hive.g），由antlr工具将hive.g编译为两个java文件：HiveLexer.java    HiveParser.java，可以将输入的sql解析为a...

			
		

	



              


  
              

                


	

		

			

				
					
Hive 源码解析二：AST

				
			

			

				

					小王是个弟弟
				

				

					03-17
					
					3953
					
				

			

		

		

			
				
解析 hive 如何将 sql 转换为抽象语法树

			
		

	





	

		

			

				
					
hive工作原理之SQL源码解析

				
			

			

				

					dianfuwo9488的博客
				

				

					11-23
					
					306
					
				

			

		

		

			
				
hive自带的sql查询最终是转化成mapreduce任务进行。
如何转换的呢？
分为如下几步：
1、antlr词法解析器解析SQL成Abstract Syntax Tree即AST树
2、基于AST树解析成若干query block即QB，QB和QBParseInfo其实是hive源码里面的Bean，是SQL解析的关键类
下边是QB的关键几个成员如下：

public c...

			
		

	



		

			
		



	

		

			

				
					
Hive SQL血缘解析

				
			

			

				

					qq_40382400的博客
				

				

					06-08
					
					2661
					
				

			

		

		

			
				
Druid可以直接获得所有的列
http://t.csdn.cn/mO4TX
利用Hive提供的LineageLogger与Execution Hooks机制做血缘
https://blog.youkuaiyun.com/qq_44831907/article/details/123033137
Apache Calcite
gudusoft 解析方案 商业
https://blog.youkuaiyun.com/qq_31557939/article/details/126277212
6.github开源项目：
https:

			
		

	





	

		

			

          精选资源
				
					
基于 Antlr4 的 Hive SQL 解析.zip

				
			

			

				

					04-29
				

			

		

		

			
				
4. **实现解析器**：利用Antlr4生成的解析器类，处理输入的Hive SQL语句，构建并遍历AST，以执行语句的逻辑。  5. **测试和优化**：编写测试用例，确保解析器能够正确处理各种复杂的Hive SQL查询，同时优化性能，...

			
		

	





	

		

			

				
					
hive sql源码解析

				
			

			

				

					yd_csdn_asp_net的博客
				

				

					11-21
					
					1376
					
				

			

		

		

			
				
hive到mapreduce源码解析

			
		

	





	

		

			

				
					
2024年大数据最全hive语法树分析，判断 sql语句中有没有select ，开发8年的老大数据开发才知道

				
			

			

				

					2401_84186026的博客
				

				

					05-05
					
					739
					
				

			

		

		

			
				
【代码】2024年大数据最全hive语法树分析，判断 sql语句中有没有select  ，开发8年的老大数据开发才知道。

			
		

	





	

		

			

				
					
Hive sql编译过程

				
			

			

				

					ThreeAspects的博客
				

				

					02-13
					
					877
					
				

			

		

		

			
				
Hive在执行sql时会以MapReduce的方式对数据进行接入和处理，主要包含以下阶段：

Hive sql的执行及编译过程：

Hive首先根据sql语句中的表从HDFS文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存
Map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值
在实际应用中会有多台机器参与Map处理，Map完成后需要将带有...

			
		

	





	

		

			

				
					
AST（抽象语法树）与 HBO（基于历史的优化）详解

					
最新发布

				
			

			

				

					qq_41081716的博客
				

				

					05-10
					
					1026
					
				

			

		

		

			
				
AST 是 SQL 语句的树形结构表示，由 Hive 解析器生成，反映查询的语法逻辑（如 SELECT、JOIN、WHERE 等操作的嵌套关系）。：在 CBO 基础上，进一步结合历史执行数据（如实际资源消耗）进行动态调整，属于 CBO 的增强版。：HBO 通过收集历史执行数据（如统计信息、执行计划性能）动态优化后续查询，属于。：Hive 优化器通过遍历和修改 AST，重构查询逻辑，生成更高效的计算路径。：基于统计信息估算执行计划成本（如 CPU、I/O、网络开销），选择最优方案。

			
		

	





	

		

			

				
					
【SQL解析】- Druid SQL AST 01

				
			

			

				

					Pushkin.的博客
				

				

					07-27
					
					2135
					
				

			

		

		

			
				
Druid SQL AST
SQL编译器
SQL语法树

			
		

	





	

		

			

				
					
【硬刚Hive】HIVE源码(4):HQL 转换为 MR 源码详细解读(3)HQL 生成 AST（抽象语法树）

				
			

			

				

					微信搜：import_bigdata，大数据领域硬核原创作者
				

				

					09-11
					
					483
					
				

			

		

		

			
				
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客
欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！




本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。

1 compileInternal 方法







2 compile 方法



3 parse 方法





.....

			
		

	





	

		

			

				
					
Hive ASTNodeOrigin 的用法

				
			

			

				

					houzhizhen的专栏
				

				

					02-09
					
					731
					
				

			

		

		

			
				
ASTNodeOrigin 包含关于生成特定 ASTNode 对象的上下文信息。
例如，我们定义视图 create view v as select x+1 as y from t，我们要处理查询 select v1.y from v as v1。如果在执行查询前，执行了 ALTER TABLE t 改变了 x 的类型，导致查询语句的类型检查错误。当出现错误时，我们希望提供关于 v 的定义语句中出错的位置，而不是上层查询的错误位置。
/**
 * ASTNodeOrigin contains context

			
		

	





	

		

			

				
					
Hive代码分析报告（四）： 语义分析①AST相关类解析

				
			

			

				

					weixin_45846560的博客
				

				

					10-20
					
					959
					
				

			

		

		

			
				
2021SC@SDUSC

目录

概述

AST相关类解析：ASTNode类

概述

前面的两篇文章，简要的把用户命令（HQL）如何进入编译器，走完语法分析、词法分析，生成抽象语法树AST的过程了解了一遍。这有助于从整体上把握编译流程的顺序，有助于更好的分析后续的功能框架。接下来，编译流程进入第二个主要阶段：语义分析阶段。

如果把HQL语句比作一句话，那么前面的语法分析、词法分析就是用来分析这句话包含了哪些词、有哪些关键词。而语义分析，顾名思义，就是要读懂这句话。

Hive如何读懂HQL这句话？我们

			
		

	





	

		

			

				
					
三、 Hive 逻辑算子及其生成(下)

				
			

			

				

					jiayuanv_127的博客
				

				

					03-20
					
					3238
					
				

			

		

		

			
				
3.3算子DAG的生成
   在第一章1.4节我们提到Hive首先将抽象语法树AST转换成查询块(QueryBlock),然后在将QueryBlock转化成算子DAG。
3.3.1QueryBlock生成
1) QB数据结构
QueryBlock数据结构定义在QB类中，QB的主要成员变量如下：
HashMap aliasToTabs;
HashMap aliasToSubq;
HashM

			
		

	





	

		

			

				
					
Hive表数据去重

					
热门推荐

				
			

			

				

					Meyao's Blog
				

				

					08-23
					
					1万+
					
				

			

		

		

			
				
一、数据全部重复

			
		

	





	

		

			

				
					
【大数据】Hive SQL执行全过程源码解析(Hive3.1)

				
			

			

				

					如切如磋，如琢如磨，臻于至善。
				

				

					01-26
					
					1088
					
				

			

		

		

			
				
看着有很多阶段，实际上很简单。Hive就是把SQL通过AST解析，然后遍历若干次(进行算子替换以及优化)，最后再次遍历算子，如果为reduceSink操作符则划分出一个stage，类似Spark中通过shuffle来划分stage，生成MapReduce任务。最后将这些任务按照执行计划的顺序提交到Yarn上执行。

			
		

	





	

		

			

				
					
Flink实战（八十四）：flink-sql使用（十一）Flink 与 hive 结合使用（三）Hive Dialect

				
			

			

				

					微信搜：import_bigdata，大数据领域硬核原创作者
				

				

					01-23
					
					1153
					
				

			

		

		

			
				
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。

《2021年最新版大数据面试题全面开启更新》

1 Hive Dialect

Starting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibility with Hive syntax, we aim to improve the interop

			
		

	





	

		

			

				
					
一文学完所有的Hive SQL（两万字最全详解）

				
			

			

				

					大数据星球-浪尖
				

				

					11-07
					
					1万+
					
				

			

		

		

			
				
Hive SQL 大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表，分区表和分桶表二、DQL语句（数据查询语句）：单表查询、关联查询hive函数：包含聚合函数，条件函数，日期函数，字符串函数等行转列及列转行：lateral view 与 explode ...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值