数据血缘 参考资料文章汇总

已于 2024-04-24 13:39:11 修改
阅读量449 收藏 2
点赞数 1
分类专栏： 数据血缘 文章标签： 自言自语
于 2023-07-05 08:49:05 首次发布
本文为博主原创文章，转载请显著位置标明出处，未经博主允许不得用于商业目的。
本文链接：https://blog.youkuaiyun.com/qq_44831907/article/details/131547628
版权
文章探讨了不同公司如字节跳动、满帮、饿了么和携程在数据血缘追踪和元数据管理方面的实践。提到了HiveSQL的解析和血缘关系建立，以及使用AST的思路。还讨论了数据治理中的血缘分析系统设计，并介绍了基于antlr、jsqlparser等工具解析SQL获取数据血缘的方法。此外，也涵盖了SparkSQL的解析和优化流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 字节跳动内部的数据血缘用例与设计
  2. 全链路数据血缘在满帮的实践
  3. 饿了么元数据管理实践之路
  4. 携程数据血缘构建及应用
  5. https://www.jianshu.com/p/6a14c846e331
  6. Hive SQL血缘关系解析与应用 虽然没有公布完整代码，但是给了我解析ast的思路
  7. Hive SQL的编译过程_美团技术团队
  8. 大数据血缘分析系统设计（一） - CXY的大数据实践田 简单使用hive自带的钩子函数获取血缘
  9. 使用Hive内置的解析器构建血缘关系
  10. 数据治理篇-元数据-血缘分析: queryparser概述
  11. 系列：用python+antlr解析hive sql获得数据血缘关系（一）
  12. Hive SQL底层执行过程详细剖析
  13. PRESTO SQL输入表、输入字段、LIMIT、JOIN操作解析
  14. Hive使用Calcite CBO优化流程及SQL优化实战
  15. https://github.com/Xiwu1994/sql-parser
  16. https://github.com/scxwhite/parseX/blob/0aed27a5345fbcd180ed3e502cd514829a5560e7/parsex-core/src/main/java/com/sucx/core/HiveSQLParse.java#L19
  17. https://github.com/smallbaby/hql-parser/blob/master/SqlExplainByDruid.java
  18. 基于jsqlparser 进行sql语句解析，得到字段间的血缘关系
  19. 基于antlr4实现hiveSQL的解析[表血缘和字段血缘]
  20. 基于Hql的表级数据血缘
  21. Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述
  22. 详解Spark SQL 底层实现原理(parser、analyzer、optimizer、physical plan)
  23. antlr4 + spark sql对业务sql进行解析
  24. Spark SQL源码剖析之SqlParser解析
  25. Spark SQL解析过程以及Antlr4入门
  26. Spark-SQL解析
  27. Spark SQL表达式解析器-Scala Parser与Antlr4
  28. SQL language reference
  29. https://sqlflow.gudusoft.com/#/ sqlfow,国内译名马哈鱼,是最终的研究对象,也是目标效果
  30. https://docs.jsplumbtoolkit.com/community/6.x/ jsplumb 文档
数据治理实践——腾讯欧拉平台数据血缘架构及应用
爱吃辣条的博客
04-19 1569
数据治理实践——腾讯欧拉平台数据血缘架构及应用
数据治理系列(一)：元数据管理 、数据血缘数据管理：
.
04-10 1万+
2、HDFS的小文件合并成大文件 前提: 在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象，存储在NameNode服务器内存中，通常占用150个字节。 由于Hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果Hadoop集群当中有大量的小文件，那么每个小...
SQL血缘解析原理
shy_snow的专栏
09-28 2684
大致步骤如下： 1.sql文本进行词法分析 2.sql语法分析获取到AST抽象语法树 3.访问AST抽象语法树根据语法结构推测出数据的流向,例如create as select from 这种结构,数据就是从from的表流向select出来的ResultSet中间结果集最后流程create的表中, 字段可以使用字段名进行匹配，如果可以连接到元数据库是可以查询到表和字段的，如果仅仅根据sql文本分析，那么一般只能根据select中的字段名结合语法进行猜测。
系列：用python+antlr解析hive sql获得数据血缘关系（四）
傲慢程序员的偏见
01-16 3358
目标 系列第三篇里做了基本的AST遍历。 在深入做SQL中的表名列名提取前，还需要先解决第三篇里遗留的两个实用性问题，分号和大小写 分号问题 分号问题的表现是自动生成的HiveParser.java代码，只能解析单个的语句，对包含多个语句的sql文本会报错，甚至连单个语句结尾多一个分号都不行。例如这种 SELECT DISTINCT a1.c1 c2, a1.c3 c4, '' c5 FROM ...
spark-sql字段级血缘关系实现
chocolate4的博客
07-01 4978
spark-sql 表字段血缘关系可视化案例
python解析sql字段血缘_系列：用python+antlr解析hive sql获得数据血缘关系（三）
weixin_29669899的博客
12-23 2116
目标系列第二篇里利用了HiveParser.g里的pushMsg输出信息，但还没有得到AST(Abstract Syntax Tree抽象语法树 )，不够实用。除了得到AST之外，第二篇末尾还需要解决下面这3个实用性问题token的大小写问题, Hive里select 和SELECT都能接受分号问题，也就是必须能解析一个字符串里包含多个sql语句的情况解析规则，类似insert-select这种h...
【SQL解析】- SQL血缘分析实现篇01
Pushkin.的博客
08-11 8837
SQL血缘解析实战 hive血缘解析 presto血缘解析 表血缘解析 字段血缘解析 血缘解析生产实践 gudusoft血缘解析 sqlflow血缘解析 druid血缘解析 antlr血缘解析
从“数据飞轮”到质量度量：美团推荐系统的精细化质量管理实践
热门推荐
张彦峰的博客
11-11 9万+
美团到店综合业务的推荐系统是其关键技术组件，旨在通过智能化方式高效匹配用户需求与多元化本地服务，能够涵盖到综业务中的各个行业，包括但不限于洗浴、KTV、美业、医美、亲子、结婚、运动健身、玩乐、教育培训、家居、宠物、酒吧、生活服务等。这要求推荐系统具有良好的扩展性和适应性，能够处理多样化的业务类型和用户需求。在美团到店综合业务中，推荐系统扮演着关键的角色，是实现供给和需求高效匹配的重要环节。其作用类似于一座智能的桥梁，连接用户的需求与各类本地服务，确保用户能够迅速而准确地找到符合其期望的服务。
[原创]-数据仓库元数据
MineData
11-12 307
元数据管理概述元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构，操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使...
财务数据域——财务数仓系统设计
庄小焱
04-13 1096
本文详细探讨了财务数仓系统的建设，涵盖背景、业务流程、系统设计、外部对接及建设难点。系统建设面临数据整合与标准化、数据质量与一致性等核心难点，通过主数据管理、数据湖与数据仓库分层、数据质量规则引擎等技术手段解决。文章还阐述了财务数仓的业务流程、系统架构设计、关键技术设计、核心分层设计及子系统模块，以及外部对接的目标、场景与技术架构。
Python+antlr4实现hiveSQL的解析[表血缘和字段血缘]
Yanaili的博客
12-20 2451
首先，要考虑好用什么去存储这些字段血缘关系。比如知道字段名，要清楚来源于哪一个表，而这个字段是否来源于其他多个字段运算得到。故而存储时一个要存储本身的字段名，其次存储利用到的字段名，为了检验，甚至可以多提取一个运算过程。同时要知晓字段来源于什么表，所以要存储表名，同时 SQL 本身会给一整个 SQL 取别名，所以还要存储整个 SQL 的别名。1、all_selects 存储所有的 insert 语句以及 select语句。
B站基于缓存优化 PRESTO 集群查询性能
DataFun_Hoh的博客
02-13 1143
当 Presto 去 Hive Metastore 查询的时候，如果想要访问 Alluxio 的数据时，比较简单的做法是将 Hive Metastore 里相应的 scheme 转换为 Alluxio 的 scheme，但这会带来的问题是对于其他的引擎（比如 spark），因为其本来就没有接入 Alluxio，会导致查询不可用。Dispatcher 是一套内部自研的服务，根据查询 HDFS 的数据量、目前引擎的负载情况等将用户提交的 query 路由到相应的引擎进行执行。此问题已经在社区中有了相应的修复。
元数据管理实践&数据血缘
爱是与世界平行
03-01 4451
元数据血缘技术调研想把整个链路的数据血缘打通，避免不了自己去针对某个链路进行数据解析和采集，所以必须选择一款扩展性强的产品 首先应该搞清楚一个问题，我们究竟想要做成一个怎样的产品？是一个仅仅供内部使用，主要为了解决日常痛点，交互体验差一点也可以容忍？还是想做成一个成熟的，可以商业化的产品？具体的方案设计应该结合产品需求以及研发能力来综合考虑大概有三种做法：1、完全自研能做到最大的灵活性和体验，产品高度适配业务，但是有较高的研发成本，投入要求高2、使用开源产品，扩展功能。
使用Antlr4和neo4j解析sql生成数据地图
weixin_44445168的博客
01-30 5778
使用Antlr4和neo4j解析sql生成数据地图 杂谈1: 之前学习搭建atlas平台的时候就很好奇他是如何解析sql,然后根据sql生成对应的血缘图的,在学习spark源码的过程中认识了antlr4 这样一个可以根据自定义语法规则来解析成语法树的工具 于是我就希望可以参考atlas的解析功能,将复杂的长sql解析出它的数据地图出来. 杂谈2: 那么有人会问了,这样做的意义在哪里. 如果做过数据开发之类的工作的话,应该会遇到那种情况, 维护了大量的表,但是不知道这些表究竟被谁用了, 因为迭代更新,可能需要
Presto查询调度解析
qq_27639777的博客
08-11 1987
文章目录提交查询生成查询计划并启动调度器查询调度过程stage调度策略创建stage调度器Source Stage调度可扩展分布式写出Stage调度输入都为远程数据源的Fixed/Single Stage调度输入包含本地数据源的Fixed Stage调度 Presto将查询拆分成多个且有树状层级关系的Stage，实际就是将整个SQL处理过程拆分成多个具有各自功能的执行阶段。Presto将查询请求解析成各个执行阶段后，便会将各个阶段分配到各个计算节点中执行，这个分配的过程实际是基于Stage进行的，不同的St
系列：用python+antlr解析hive sql获得数据血缘关系（一）
u011250186的博客
06-28 2263
工作刚开始，边学边记，预计不止两篇三篇的，先提个系列 系列目标 编程获得数据血缘关系的需求对数据仓库来说并不普遍，只有数据规模达到很大的程度，或者存在复杂数据生产关系的报表数量增加到很大的程度，单独的数据血缘关系工作才有必要。 在规模没达到之前，人工的识别和管理是更经济有效的。 本系列想要做到的目标是这个uber的 queryparser的一个子集，在有限知道目标数据表结构的前提下，发现并记录目标字段与来源表和字段的关系。 这种功能queryparser应该是已经具备的，并且它本身是开源的，但que.
系列：用python+antlr解析hive sql获得数据血缘关系（三）
傲慢程序员的偏见
01-11 2763
目标 系列第二篇里利用了HiveParser.g里的pushMsg输出信息，但还没有得到AST（Abstract Syntax Tree抽象语法树 ），不够实用。除了得到AST之外，第二篇末尾还需要解决下面这3个实用性问题 token的大小写问题, Hive里select 和SELECT都能接受 分号问题，也就是必须能解析一个字符串里包含多个sql语句的情况 解析规则，类似insert-sele...
neo4j 数据血缘
最新发布
05-21
### Neo4j 数据血缘管理实现方案 #### 1. 数据血缘的概念 数据血缘（Data Lineage）是指描述数据在其生命周期中的流转过程，包括数据的来源、转换、存储和最终用途。它帮助理解数据之间的关系及其演变历史。通过数据血缘，可以追踪从原始数据到最终报告或指标的变化轨迹。 Neo4j 是一种图数据库，特别适合用于管理和查询复杂的关联关系。它的 Cypher 查询语言能够高效地表达和检索多层次的数据依赖关系[^1]。 --- #### 2. 使用 Neo4j 进行数据血缘跟踪的核心技术 以下是基于 Neo4j 的数据血缘管理系统的关键组成部分： ##### (1) 图模型设计 在 Neo4j 中，可以通过节点（Node）和边（Relationship）来建模数据血缘。常见的实体包括： - **数据源**：表示数据的初始位置，例如文件系统、数据库或其他外部系统。 - **数据处理步骤**：表示对数据的操作，如 ETL 流程、SQL 查询等。 - **目标数据集**：表示经过处理后的数据集合。 这些实体之间通过有向边连接，每条边代表某种特定的关系，比如 `TRANSFORMS` 或 `DEPENDS_ON`[^2]。 ##### (2) 数据采集与解析 为了构建完整的数据血缘图谱，需要从多个源头捕获元数据信息。这可能涉及以下几种方式： - 利用现有的传输工具（如 DataX），开发自定义插件提取元数据，并将其导入 Neo4j[^3]。 - 对于 Hive 和 Impala 平台上的作业日志，可采用 Kafka 消息队列实现实时消费机制，随后将血缘记录持久化至 Neo4j[^4]。 ##### (3) 存储结构优化 考虑到性能因素，在实际部署过程中应对 Neo4j 的索引策略加以调整。合理设置标签（Label）、属性键值对以及约束条件有助于加速查询响应时间。 --- #### 3. 可视化分析 借助 Neo4j 自带的浏览器界面或者第三方库（如 Gephi、D3.js 等），可以直观呈现复杂网络拓扑结构下的数据流动情况。这种可视化的表现形式不仅便于技术人员排查问题所在，也方便业务人员了解整体架构布局[^1]。 此外，还可以利用 RESTful Web Services 提供对外接口访问权限，允许其他应用程序调用相关功能模块完成进一步扩展应用开发工作。 --- #### 4. 示例代码片段 下面给出一段简单的 Python 脚本演示如何创建基本的数据血缘关系并保存到本地运行实例当中： ```python from neo4j import GraphDatabase def create_lineage(driver, source_name, target_name): with driver.session() as session: query = """ MERGE (source:DataSource {name: $source}) MERGE (target:DataSet {name: $target}) MERGE (source)-[:FEEDS_INTO]->(target) """ session.run(query, {"source": source_name, "target": target_name}) if __name__ == "__main__": uri = "bolt://localhost:7687" user = "neo4j" password = "password" driver = GraphDatabase.driver(uri, auth=(user, password)) try: create_lineage(driver, "Raw Logs", "Parsed Events") finally: driver.close() ``` 此脚本展示了两个节点间建立单向联系的过程——即某个数据源被用来生成新的数据集。 --- #### 5. 总结 综上所述，Neo4j 凭借其卓越的表现力成为实施企业级数据血缘解决方案的理想候选者之一。凭借强大而灵活的功能特性支持，无论是在初期规划阶段还是后期维护期间都能够显著降低总体成本投入的同时提升工作效率水平。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值