datahub添加mysql/hive数据源

最新推荐文章于 2025-09-25 06:18:47 发布
原创 最新推荐文章于 2025-09-25 06:18:47 发布 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#datahub

本文档介绍了如何安装datahub的mysql插件，并通过UI和CLI方式配置数据源，提取元数据到datahub。首先，使用pip3安装插件，然后在UI界面创建并配置数据源，包括设置加密的账号密码、定时刷新和数据源命名。对于CLI，创建配置文件并执行命令将元数据导入。完成这些步骤后，可以在datahub中查看和管理元数据。

一、如果没有安装过datahub的mysql插件，先安装(mysql源官方文档)

pip3 install 'acryl-datahub[mysql]'

二、使用ui Ingestion
可以先配置变量，加密账号密码，避免配置文件中明文存储
在这里插入图片描述

2.1 访问localhost:9002/ingestion,点击创建新的数据源
在这里插入图片描述
2.2 选择数据源
在这里插入图片描述
2.3. 修改配置文件内容
在这里插入图片描述

2.4 设置定时调度刷新元数据
在这里插入图片描述
2.5 设置当前数据源名称

最低0.47元/天 解锁文章
DataHub: 现代数据栈的元数据平台的入门体验及填坑记录
penriver的博客
01-29 5996
DataHub是为现代数据栈【Modern Data Stack】构建的第三代元数据平台，支持数据发现、协作、治理和端到端可观察性。DataHub采用模型优先的理念，专注于解锁不同工具和系统之间的互操作性。 本文首先针对DataHub的架构及组成部分进行讲解，然后采用快速安装的方式进行部署，并摄取样例元数据 及 MySQL的元数据到Datahub，最后演示在前端界面如何 查看元数据及血缘。并对期间碰到的问题及如何解决的进行了梳理总结。
【DataHub】 现代数据栈的元数据平台--如何添加自定义数据平台
m0_54252387的博客
07-15 1503
数据平台代表了一个第三方系统，DataHub从数据平台获取元数据实体。 每个被摄取的数据集都与一个平台相关联，例如MySQL、OpenGauss、Hive或HDFS。在某些情况下，数据集添加自定义数据平台标识符。例如内部数据系统不是DataHub支持的数据平台。DataHub提供了三种添加数据平台的方式，可以根据需要选择适合自己的方式OpenGauss是国产开源数据库，目前被很多企业使用。本示例以添加OpenGauss数据平台为例，讲解如何添加注意：其它数据平台的图标裂开了，是因为图标的地址在上面，在国内访
元数据管理Datahub导入Mysql数据库元数据
Bulut0907
01-10 1766
Mysql的元数据同步，是一种Pull的同步方式。只能做到全量或批增量的元数据同步。再次运行同步，如果Mysql表的元数据未发生变更，则同步到Datahub不会产生新的版本，同步的速度会很快；如果Mysql表的元数据发生变更，则同步到Datahub会产生新的版本，新的版本和旧的版本可以切换查看。定义导入元数据的数据库相关信息，和导入的sink信息，这里导入的sink类型为datahub-rest。这里的database貌似并不能作过滤作用。会同步Mysql服务所有数据库表的元数据。
5分钟上手！DataHub+Hive构建智能元数据管理体系
最新发布
gitblog_00429的博客
09-25 697
你是否还在为Hive元数据分散混乱而头疼？面对成百上千张数据表却找不到负责人？数据 lineage 追踪如同迷宫探险？本文将带你通过DataHub与Hive的无缝集成，5分钟搭建企业级元数据管理平台，彻底解决数据孤岛问题，让每一份数据都有"身份证"和"家谱"。 读完本文你将获得： - 3步完成Hive元数据接入DataHub的实操指南 - 自动生成数据血缘图谱的配置技巧 - 元数据变更实时告警的...
datahub导入配置了kerberos的hive的数据
weixin_45249411的博客
02-19 681
datahub导入配置了kerberos的hive的数据
datahub-ingest
03-17
数据中心
实战指南：用DataHub管理Hive元数据
拒绝AI玄学，只聊真技术▲
06-18 1335
通过DataHub的Hive数据源连接器可以接入Hive的库、表、列、存储信息、统计信息等元数据哪些元数据库、表的元数据列的类型的元数据详细的表属性和存储的元数据表、行、列的统计信息的元数据(需要SQL Profiling功能)DataHub中的功能点资产容器(Asset Containers)描述信息(Descriptions)平台实例(Platform Instance)Schema元数据(Schema Metadata)分类(Classification)
一站式元数据治理平台——Datahub入门宝典
张伟的专栏
02-20 1万+
首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。
datahub同步到mysql_TT数据到MYSQL的同步方案
weixin_31440053的博客
01-19 388
几个月前开始做这个东西，中间因为其他事情被中断N次(>_最近又接着做了下来，目前基础框架和代码都OK，部分命令已经实现，可以完成TT到MySQL的同步。今天发现凤凰网有一个人跟我做了类似的工作，虽然可能我们的目的不同具体实现也有差别，但是相信基本思路是一致的。该方案支持配置来实现不同业务，对数据可以进行筛选及也支持映射，多TT多MYSQL同步，进度控制，后端存储服务可选。和那位仁兄用PHP不...
数据治理：从DataHub到Apache Atlas元数据管理
shejizuopin的博客
04-16 1640
DataHub是LinkedIn开源的一款元数据管理和数据治理工具，旨在帮助企业发现、管理和理解其数据资产。它提供了一个集中的元数据存储库，支持多种数据源和数据格式，并提供了强大的搜索、浏览和数据血缘分析功能。DataHub和Apache Atlas作为两款领先的元数据管理工具，各自具有独特的功能和优势。DataHub适合需要处理多种数据源和数据格式的企业，提供了强大的搜索、浏览和数据血缘分析功能。
DataHub调研&数据血缘
美丽的毛毛草
04-04 7143
​ 在DataHub中可以通过GraphQL API轻松的创建和添加任何实体标签，这样随着时间的推移，实体的属性回越来越丰富。当有一天我们想要查看某一标签的相关实体信息时，只需要在标签位置点击该标签，就会将所有相关的实体数据 列出来。
基于DataHub元数据血缘管理实施方案
qq_35338741的博客
03-21 6504
元数据按用途的不同分为两类：技术元数据（ Technical Metadata)和业务元数据（ Business Metadata ）技术元数据是存储关于数据仓库系统技术细节的数据，用于开发和管理数据仓库使用的数据。业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够看懂数据仓库中的数据。利用元数据标签不仅可以节约研发人员的时间成本，同时对公司内部的非研发人员来说，也可以更直观地理解数据、利用数据，从而提升数据的研发效率。
如何根据Hive SQL代码生成Datahub数据集及血缘
zdsx1104的专栏
02-04 4776
识别、解析Hive、PG SQL代码，自动生成Datahub 表级、字段级血缘
Hive_第二章 Hive的安装及配置(元数据库等...)
weixin_44890576的博客
01-25 2259
Hive_第二章 Hive的安装及配置(元数据库等...)
datahub初体验
chenzuoli的博客
04-30 2469
元数据管理，从datahub开始
【DataHub】 现代数据栈的元数据平台的入门体验及填坑记录
m0_54252387的博客
07-15 4994
DataHub是为现代数据栈【Modern Data Stack】构建的第三代元数据平台，支持数据发现、协作、治理和端到端可观察性。DataHub采用模型优先的理念，专注于解锁不同工具和系统之间的互操作性。通过Datahub的架构图可以清晰的了解Datahub的架构组成。 主要分为三部分：Ingestion框架是一个模块化的、可扩展的Python库，用于从外部源系统（如kafka、mysql）提取元数据，将其转换为DataHub的元数据模型，并通过Kafka或直接使用元数据存储Rest API将其写入Dat
轻松上手：DataHub 的安装和配置指南
theskylife的博客
01-29 6810
在当今数据驱动的时代，有效地管理和探索数据对于企业和团队至关重要。DataHub作为一种开源的数据协作平台，提供了强大的数据发现和数据连接功能。本文将详细介绍如何轻松上手，完成DataHub的安装、基本配置，连接到不同的数据源，并探讨部署DataHub的最佳实践。
DataHub安装配置详细过程
热门推荐
Forget_Ying的博客
08-23 1万+
DataHub-----安装教程 Datahub，在国内使用的比较少，相关资料也比较少，具体是做什么的资料之类的，可以去看官方文档了解一下，这里我就不多做说明，毕竟我也是小白一个，这篇文章主要会写安装教程，具体哪一步是干啥的，就不要仔细问那么多了，我现在也还在研究阶段，这里就介绍一下步骤避免大家遇到坑，如果需要深入学习，请自学Py docker 官方文档等等等等。 安装步骤参考了官方文档：DataHub官方文档 以及大神的文章，这里附上传送门Datahub安装配置—附带详细步骤 同时简书上也还有一篇安装的教
元数据管理平台Datahub0.10.5版本安装部署与导入各种元数据手册
h952520296的博客
09-14 1201
官网文档连接本文所选择的Python的版本为3.8.16，Docker版本为20.10.0，Datahub为0.10.5版本python必须为3.7以上的版本。0.10.5不支持以下的版本。
Dinky基于Flink的大数据处理平台资源合集
`dinky-connectors` 则提供了丰富的数据源连接器支持，包括但不限于 Kafka、MySQL、PostgreSQL、Oracle、MongoDB、Elasticsearch、Hive、Iceberg、Hudi 等常见数据系统，允许用户通过简单的 SQL 语句完成流批一体的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值