- 博客(14)
- 收藏
- 关注
原创 【软件工程实践】Hive研究-Blog13
【软件工程实践】Hive研究-Blog132021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。我们在Blog9-12中,完成了对如下文件代码的解析:BoundaryDef.javaPTFExpressionDef.javaOrderDef.javaOrderExpress
2021-12-25 17:30:41
993
原创 【软件工程实践】Hive研究-Blog12
【软件工程实践】Hive研究-Blog122021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。我们在Blog9-11中,完成了对如下文件代码的解析:BoundaryDef.javaPTFExpressionDef.javaOrderDef.javaOrderExpress
2021-12-18 18:26:29
561
原创 【软件工程实践】Hive研究-Blog11
【软件工程实践】Hive研究-Blog112021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。之前的Hive研究-Blog10中已经解析了ptf 文件夹下的OrderDef.java文件以及OrderExpressionDef.java文件,PartionDef.java文件还有W
2021-12-10 19:32:55
1555
原创 【软件工程实践】Hive研究-Blog10
【软件工程实践】Hive研究-Blog102021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。之前的Hive研究-Blog9中已经解析了BoundartDef.java文件的代码以及PTFExpressionDef.java文件的代码,本周的任务就接着解析ptf文件夹下的文件源码,
2021-12-05 22:01:00
1452
原创 【软件工程实践】Hive研究-Blog9
【软件工程实践】Hive研究-Blog92021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。之前的Hive研究-Blog1-8中已经完成了对mapper文件夹下所有的代码解析,从本周开始我们将研究下一个文件夹ptf中的源码。这周的任务是研究ptf文件夹下的BoundaryDef.j
2021-11-28 13:29:59
1305
原创 【软件工程实践】Hive研究-Blog8
【软件工程实践】Hive研究-Blog82021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。本周的研究计划是解析mapper文件夹下面的最后两个StatsSource.java文件源码以及StatsSource.java文件的源码。StatsSource.java文件代码解析
2021-11-21 16:35:39
1079
原创 【软件工程实践】Hive研究-Blog7
【软件工程实践】Hive研究-Blog72021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。本周的研究计划是继续解析PlanMapper.java文件源码。由于在Blog6中已经完成了对内部类CompositeMap的全部解析,因此在本次Blog中我们就完成对PlanMapper.
2021-11-13 23:09:33
1398
原创 【软件工程实践】Hive研究-Blog6
【软件工程实践】Hive研究-Blog52021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。本周的研究计划是解析PlanMapper.java文件源码。由于在Blog5中已经初步完成了全局变量以及内部类的全局变量,还有构造类方法的解析,本周的研究内容就会放在解析修改后的方法源码上,
2021-11-08 22:37:53
1717
原创 【软件工程实践】Hive研究-Blog5
【软件工程实践】Hive研究-Blog52021SC@SDUSC研究内容介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。本周的研究计划是解析PlanMapper.java文件源码。PlanMapper.java文件代码解析我们首先附上整个java文件的源码。/* * Licensed to the A
2021-11-04 14:15:28
1021
原创 【软件工程实践】Hive研究-Blog4
【软件工程实践】Hive研究-Blog42021SC@SDUSC本期研究内容简略介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。由于Blog3还尚未研究完MetastoreStatsConnector.java文件,本周我们就继续研究该文件源码。MetastoreStatsConnector.java文件
2021-10-27 21:57:14
516
原创 【软件工程实践】Hive研究-Blog3
【软件工程实践】Hive研究-Blog32021SC@SDUSC研究内容简略介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。由于Blog2已经研究了mapper文件夹下的第二个文件EmptyStatsSource.java文件以及mapper文件夹下的第三个文件GroupTransformer.java文件和
2021-10-21 15:54:45
207
原创 【软件工程实践】Hive研究-Blog2
【软件工程实践】Hive研究-Blog22021SC@SDUSC研究内容简略介绍本人负责的是负责的是将查询块QB转换成逻辑查询计划(OP Tree)如下的代码出自apaceh-hive-3.1.2-src/ql/src/java/org/apache/hadoop/hive/ql/plan中,也就是我的分析目标代码。由于Blog1已经研究了mapper文件夹下的第一个文件CachingStatsSource.java文件,那么我们这周就来研究该文件夹下的剩余源码。EmptyStatsSource
2021-10-11 23:20:56
165
原创 【软件工程实践】Hive研究-Blog1
【软件工程实践】Hive研究-Blog12021SC@SDUSC研究方向我负责的是将查询块QB转换成逻辑查询计划(OP Tree)源码总体介绍如图所示,这是从Apache官网上下载的3.1.2版本的Hive源码大致结构。下面我们来大致了解以下各种组件的作用。hive三个最重要的组件:1.serde: 这个组件是 hive内置的一些序列化解析类,此组件允许用户自己开发自定义序列化、反序列化文件解析器2.MetaStore: hive的元数据服务器,用来存放数据仓库中所有表和分区的信息,h
2021-10-06 17:54:47
271
原创 2021-09-29
【软件工程实践】Hive研究小组开题报告组内代码研究方向介绍Hive大致介绍对于Hadoop以及Hive的安装配置初始化代码片小结2021SC@SDUSC组内代码研究方向介绍本小组共4位成员,各自的代码分析方向如下:如图所示,一共有4个标题数字,分别为小组内四位成员所分析的代码大致方向。1.将HQL转化成抽象语法书AST2.将抽象语法树AST转换成查询块QB3.将查询块QB转换成逻辑查询计划(OP Tree)4.对OP Tree进行逻辑优化我的研究方向为将查询块QB转换成逻辑查询计划(O
2021-09-29 13:30:02
301
无领导小组讨论话术速成
2024-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人