基于Hql的表级数据血缘

最新推荐文章于 2025-06-24 09:49:38 发布
最新推荐文章于 2025-06-24 09:49:38 发布
阅读量1.7k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hive 数据血缘 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haiboself/article/details/97617108
本文介绍了基于Hql的表级数据血缘，涉及预备知识、数据血缘的概念以及两种关键操作：Create Table As Select (CTAS)和Inserting data into Hive Tables from queries。通过分析Hive的AST抽象语法树，可以抽取源表和目标表的对应关系，实现血缘关系的确定。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

预备知识
  • 表级数据血缘：数据表的派生关系。
  • Hql: hive sql
  • 通过hive的hql parser在AST(抽象语法树)层级操作
  • 如果需要做字段血缘,在AST级别是可以完成的,不过需要熟悉大量的hql语法规则和其在ast中的实际表示。
  • 耳闻hive的ast并不好,也许是积重难返吧,新语法规则的引入必然要和旧的规则做妥协。可以换用spark sql的parser或者presto的parser。
参考
数据血缘
  • 分析过程：
    • 查看hql的官方文档,结合应用实例,分析确定存在血缘关系的hql有2种:
      • Create Table As Select (CTAS)
      • Inserting data into Hive Tables from queries
    • 了解基本的AST结构,分析上边2种hql的AST结构,从中抽取原表和目标表的对应关系。
  • hql获取：一种方式是通过hive hook的方式从hive server端获取。
  • 结论：搞
最低0.47元/天 解锁文章

200万优质内容无限畅学
数据中台之数据血缘的具体实现
数据与算法架构提升之路专栏
06-26 5353
如果采集后的血缘存储在mysql等传统数据中，随着采集sql的增多很快会出现性能瓶颈，而且不易查询。所以本文基于hive hook和图数据库neo4j来实现数据血缘。基本思路是在hive的执行引擎操作完成之后利用hook进行拦截，判读是否是有效的生成血缘的sql语句，是的话记录发送一条kafka消息，并且在消费RocketMq消息时入库到mysql和neo4j中。mysql也存一份是为了进行数据备份，防止neo4j宕机引起的数据丢失。
HIVE数仓数据血缘分析工具-SQL解析
热门推荐
thomas0yang的专栏
10-27 4万+
一、数仓经常会碰到的几类问题： 1、两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。 2、基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。二、问题分析： 数据源长途跋涉，经过大量的处理和组件来传递，呈现在业务用户面前，对数据进行回溯其实很难。元数据回溯在有效决策、策略制定
【数据仓库】元数据血缘分析
u013939918的博客
07-01 2043
现在数据仓库基本上采用Hadoop平台了，那么数据仓库里面元数据的血缘分析的思路有哪些呢 基本上有下面这两种思路： 1、解析hql脚本，通过正则表达式去匹配每一行字符串 2、采用Hadoop自带的语法分析类解析 这里比较建议采用第二种，比较直接简单，因为第一种方式比较复杂，需要考虑场景比较多，容易出现遗漏 Hadoop 自带的类 org.apache.hadoop.hive.ql.tools.LineageInfo 将hql语句通过解析语法tree，获取hive表的源表和目标表，达到血缘.
数仓基于表级别的数据血缘分析
qq_36412496的博客
09-30 3339
1.背景：数据血缘分析在日常的处理过程中非常重要,其分为应用级别、表级别和字段级别三种。在数据处理过程中，需要知道目标表的字段是来源于哪张原始表。对于简单的hsql来说我们很容易可以知道目标表的来源，但是复杂的hsql，想得到原始表不就那么方便了。故需要一个方法来便捷的导到目标表和来源表。 2.hive源码中有名为NodeProcessor的接口,可以通过实现该接口来获取表级别的数据血缘分析。 ...
数据血缘定义与价值
最新发布
专注最新最热的AI知识学习，以实战方式总结心得。
06-24 643
层次目标衡量指标基础层保障数据链路可靠运行数据事故下降率（如 -70%）进阶层建立全域数据知识图谱字段平均可解释率（如 95%+）战略层成为企业数据信任基石数据驱动决策占比（如 80%+）结论最小化修改影响是数据血缘的显性价值，而终极目标在于将数据从“不可控的黑盒”变为可信赖的核心资产—— 这才是企业在数字化竞争中的底层优势。
[一起学Hive]之十九-使用Hive API分析HQL的执行计划、Job数量和表的血缘关系
tony的专栏
05-06 1640
本文介绍使用Hive的API获取一条HQL的最终执行计划，从而获取这条HQL的Job数量，另外，介绍使用API分析一条HQL中所包含的输入表和输出表。这些信息在做元数据管理和Hive表的血缘分析时候很有用。 Hive在执行一条HQL的时候，会经过以下步骤： 语法解析：Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象 语法树AST Tree；语义解析：遍历AS
使用LineageInfo分析Hive HQL(HSQL)获取血缘关系
蓝星极盾
07-08 1947
Hive源码的一个类可以用来分析Hive表的关系： org.apache.hadoop.hive.ql.tools.LineageInfo #/bin/bash java -cp .:/usr/hadoop/hive/lib/*:/user/hadoop/exec/lib/* org.apache.hadoop.hive.ql.tools.LineageInfo "$1" 如上在classpath中加入各种依赖的jar包，然后咱们就开始执行： hadoop@ms1$ ./LItest.sh "i
使用Hive API分析HQL的执行计划、Job数量和表的血缘关系
FisherWang_CN
05-10 2858
http://lxw1234.com/archives/2015/09/476.htm
血缘关系解析工具源码_对hql集合进行静态分析_获取hql对应的血缘图.zip
02-24
2. **依赖关系识别**：通过对HQL的分析，识别出各个部分依赖的表、视图或函数，这些依赖构成了数据血缘的基础。 3. **血缘图构建**：将解析出的依赖关系可视化为图形，便于用户直观地查看数据流经的路径。这种图...
cdh6.3.2支持字段血缘展示需要替换jar
10-11
在CDH 6.3.2中，Hive 2.1.1作为主要的数据仓库组件，提供了一个基于Apache Atlas的血缘追踪解决方案。 然而，根据标题和描述，用户在尝试使用Apache Atlas在CDH 6.3.2中展示Hive 2.1.1的字段血缘时遇到了问题。这...
元数据管理 Apache Atlas
json0227的博客
12-17 519
1、Atlas是什么？ Atlas是Hadoop的数据治理和元数据框架。Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效，高效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。 2、主要特性 支持各种Hadoop和非Hadoop元数据管理 数据分类 数据血缘 可以支持字段级别
Neo4j实现表字段级血缘关系
PANDA博客
08-22 1713
/ 唯一键// 添加图节点以及与上游节点之间的关系// 寻找上游节点// 寻找下游节点。
搜狐 Hive SQL 血缘关系解析与应用
SmartSi
12-29 1200
在数据仓库构建的过程中，SQL 血缘关系体现了各个数据表以及相关属性的依赖关系。SQL 血缘关系即是对业务流程涉及到的模型表进行梳理，包含了集群血缘关系、系统血缘关系、表级血缘关系和字段血缘关系，其指向数据的上游来源，向上游追根溯源。通过简单的 SQL 语句展现各个表之间的数据关系。
Spark列级血缘(字段级别血缘)开发与实现
老扎儿的博客
01-12 4124
传统数据治理中针对spark的表级别血缘判断虽然能一定程度上解决数据的依赖关系，但是对于精确到字段之间的关系识别则显得捉襟见肘。开发此项目的用意是为了能够加强spark在列级血缘上的追踪优势。
使用Druid的sql parser做一个表数据血缘分析工具
u011250186的博客
06-22 3125
版权 前言 大数据场景下，每天可能都要在离线集群，运行大量的任务来支持业务、运营的分析查询。任务越来越多的时候，就会有越来越多的依赖关系，每一个任务都需要等需要的input表生产出来后，再去生产自己的output表。最开始的时候，依赖关系自然是可以通过管理员来管理，随着任务量的加大，就需要一个分析工具来解析任务的inputs、outs，并且自行依赖上生产inputs表的那些任务。本文就介绍一个使用druid parser，来解析SQL的input、output的血缘分析工具。 建议对druid比较陌生的.
数据治理工具：基于SQL图形化数据血缘系统的概念及设计
zgl_20053779的博客
08-26 968
一、背景介绍 数据对于企业的重要性不必赘述； 目前文本数据的存储格式，大体分为两种：结构化和非机构化； 由于关系型数据库的广泛使用，大量数据采用结构化方式进行存储和加工。最为广泛的加工方式使用是SQL语言。 二、痛点 就代码本身而言，SQL已经做到足够简洁。 但随着业务需求复杂度的增长，数据的加工流程越来越长，且纵横交错。想了解数据起点与终点的关系，变得越来越困难。 这时候，假设当某一节点数据出现问题，需要向上查找原因，或向下分析影响时，往往只能通过分析脚本或调度作业的方式进行。这两种方式都有缺
hive血缘关系之输入表与目标表的解析
u011250186的博客
06-22 1719
　　接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。 　　血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血缘关系等，后面做了再说，今天只是记录一下输入表和输出表的血缘关系。 　　我们线上的环境用来做...
sql血缘关系解析
qq_28725695的博客
08-21 1万+
sql create table default.target_table LOCATION '/data/location' as select a,b,d,e,f,g from log.source_table 生成的ast树 (TOK_CREATETABLE (TOK_TABNAME default target_table) TOK_LIKETABLE (TOK_TABL...
基于Druid的HiveSQL血缘解析
QYgujingjing的专栏
11-03 1932
基于Druid的HiveSQL血缘解析
离线电商数仓用到哪些组件
03-30
<think>好的，我现在要回答用户关于离线电商数仓用到哪些组件的问题。首先，我需要回顾一下离线数据仓库的基本架构和常见组件。离线数仓通常处理的是T+1的数据，也就是前一天的数据，所以对实时性要求不高，但需要处理大量数据，进行批量计算和存储。 首先，数据采集是第一步，电商会有很多数据源，比如用户行为日志、订单数据、商品信息等。这时候可能需要用到像Flume这样的工具来采集日志数据，因为它可以高效地收集、聚合和传输日志数据。另外，如果数据存在MySQL等关系型数据库中，可能需要用Sqoop来进行数据导入导出，因为Sqoop适合在Hadoop和结构化数据存储之间传输数据。还有，如果是处理数据库的增量数据，Canal也是一个常用的工具，它通过监听数据库的binlog来捕获变化的数据，这样就能实时同步到数据仓库中，不过这里用户问的是离线数仓，可能Canal用的少，但有时候离线数仓也会处理增量数据，所以还是可以提一下。 接下来是数据存储。离线数仓的数据量通常很大，所以HDFS是必不可少的，它是Hadoop的分布式文件系统，适合存储大规模数据。另外，Hive作为数据仓库工具，可以将结构化的数据映射为表，并提供HQL查询，底层数据还是存在HDFS上。可能还会用到HBase，虽然HBase更多用于实时查询，但有时候离线数仓也会用它来存储需要快速访问的维度数据。还有像MySQL这样的关系型数据库，可能用于存储元数据或者一些配置信息，或者结果数据，供其他系统调用。 然后是数据计算和处理。MapReduce是一个经典的计算框架，但编写起来比较麻烦，可能现在更多会用Hive来进行HQL查询，自动转换成MapReduce任务。Spark也是一个重要的组件，特别是Spark SQL和Spark引擎，相比MapReduce，Spark的内存计算速度更快，适合处理复杂的ETL任务。如果数据清洗转换需要更灵活，可能会用到Spark的RDD或者DataFrame API。另外，Hive本身也可以处理很多计算任务，尤其是批处理。 数据调度和管理方面，离线数仓需要定时执行ETL任务，所以需要任务调度工具，比如Azkaban或者Airflow，它们可以编排工作流，定时执行任务，监控任务状态。Oozie也是一个选择，但可能不如前两者常用。元数据管理的话，Apache Atlas可以用来管理数据的血缘关系和元数据，帮助追踪数据的来源和变化。数据质量监控可能需要Griffin这样的工具，或者自己开发脚本进行校验。 数据查询和可视化部分，Presto或Impala这些MPP查询引擎可以用于即席查询，因为它们支持快速交互式查询，适合adhoc分析。Kylin则是OLAP引擎，适合预计算多维分析，提升查询速度。可视化工具比如Tableau、Superset或者Metabase，可以连接数据仓库生成报表和仪表盘，方便业务人员查看数据。 最后，资源管理和协调方面，YARN是Hadoop的资源管理器，负责集群资源的分配和任务调度。Zookeeper用于分布式协调，保证集群的高可用性和一致性，比如HBase就需要Zookeeper来管理集群状态。 不过，可能还要考虑其他组件，比如数据清洗时用到的Spark或Flink批处理，虽然Flink更常用于实时，但批处理也可以。还有数据仓库的分层设计，比如ODS、DWD、DWS等，每个层可能用不同的存储和处理方式，但组件可能还是围绕Hive、Spark这些。 需要检查是否有遗漏的组件，比如数据同步工具DataX，或者Kafka，不过Kafka更多用于实时数据流，离线可能用不到。但有时候离线数仓也会从Kafka中消费数据存储到HDFS，所以可能也需要提到。不过用户问的是离线，可能Kafka不是必须的，但根据具体情况可能有不同。 另外，元数据管理除了Atlas，还有Hive自带的Metastore，存储表结构等信息。任务调度除了Airflow、Azkaban，还有DolphinScheduler，现在也比较流行。 总结下来，组件大致分为数据采集、存储、计算、调度、元数据管理、查询可视化和资源管理这几个方面，每个环节都有对应的工具。需要按这个结构组织回答，确保每个部分都覆盖到，并且例子正确，比如Flume、Sqoop、HDFS、Hive、Spark、Azkaban、Presto、YARN等。同时要注意用户要求用中文，结构清晰，分点说明，使用行内公式用$...$，但这个问题可能不太涉及数学公式，所以可能用不上。但如果有提到数据量大小，比如存储PB级数据，可以用$符号强调数字，不过可能不需要。只要确保符合格式要求，正确使用LaTeX即可。</think>离线电商数仓的构建通常涉及多个核心组件，涵盖数据采集、存储、计算、调度等环节。以下按功能分层介绍关键组件及作用： --- ### 一、**数据采集层** 1. **日志采集工具** - **Flume**：用于实时采集用户行为日志（如点击、浏览），支持将日志传输至HDFS或Kafka。 - **Filebeat/Logstash**：轻量级日志采集工具，与ELK（Elasticsearch、Logstash、Kibana）生态集成。 2. **数据库同步工具** - **Sqoop**：批量导入关系型数据库（如MySQL）的结构化数据（如订单、商品表）到HDFS或Hive。 - **Canal**：通过解析MySQL的binlog实现增量数据同步，支持近实时数据捕获。 --- ### 二、**数据存储层** 1. **分布式文件系统** - **HDFS**：存储原始数据（如日志、业务表快照），支持海量数据的横向扩展。 2. **数据仓库引擎** - **Hive**：基于HDFS的结构化存储，提供类SQL（HQL）查询，用于离线ETL和分层建模（如ODS、DWD、DWS层）。 - **HBase**：存储需快速访问的维度数据（如用户画像），支持随机读写。 3. **列式存储** - **Parquet/ORC**：列式文件格式，提升Hive查询性能，适用于聚合分析场景。 --- ### 三、**数据计算层** 1. **批处理引擎** - **MapReduce**：经典的Hadoop批处理框架，适用于简单ETL任务。 - **Spark**：基于内存计算，加速复杂ETL流程（如多表关联、窗口函数），支持Spark SQL和DataFrame API。 - **Hive on Tez**：优化Hive执行引擎，减少任务延迟。 2. **OLAP引擎** - **Presto/Impala**：支持交互式查询，用于即席分析（Ad-hoc）。 - **Apache Kylin**：预计算多维立方体，提升复杂聚合查询性能。 --- ### 四、**任务调度与治理** 1. **工作流调度** - **Airflow**：通过DAG（有向无环图）定义任务依赖，支持定时调度与监控。 - **Azkaban/Oozie**：传统Hadoop生态调度工具，适用于简单任务编排。 2. **元数据管理** - **Apache Atlas**：管理数据血缘、分类与权限，追踪表级依赖关系。 - **Hive Metastore**：存储表结构、分区等元数据。 3. **数据质量监控** - **Griffin/Great Expectations**：校验数据完整性、一致性（如空值率、主键唯一性）。 --- ### 五、**数据服务与可视化** 1. **数据查询接口** - **JDBC/ODBC**：通过Hive/Impala暴露接口，供BI工具连接。 - **REST API**：封装查询结果供业务系统调用。 2. **可视化工具** - **Tableau/Superset**：生成交互式报表，展示用户行为分析、销售看板等。 - **Grafana**：监控集群资源利用率（如CPU、内存）。 --- ### 六、**资源管理** - **YARN**：统一管理Hadoop集群资源，分配任务至MapReduce、Spark等计算框架。 - **ZooKeeper**：协调分布式服务（如HBase、Kafka），保障高可用性。 --- ### 七、**典型架构示例** ``` 数据源 → Flume/Sqoop → HDFS → Hive/Spark（ETL） → Hive/Kylin（分层建模） → Presto/Tableau（查询与展示） ``` --- ### 关键设计原则 1. **分层建模**：分为原始数据层（ODS）、明细层（DWD）、汇总层（DWS）等，降低冗余。 2. **增量与全量结合**：通过分区表（如按天分区）平衡存储成本与计算效率。 3. **资源隔离**：生产与开发环境分离，避免任务竞争资源。 通过以上组件协同，离线电商数仓可支撑用户画像、销售分析、库存预测等核心场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值