datahub添加mysql/hive数据源

最新推荐文章于 2025-07-18 15:25:04 发布

董不懂22

最新推荐文章于 2025-07-18 15:25:04 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： datahub 文章标签： datahub

本文链接：https://blog.youkuaiyun.com/github_39319229/article/details/124494986

datahub 专栏收录该内容

2 篇文章

订阅专栏

本文档介绍了如何安装datahub的mysql插件，并通过UI和CLI方式配置数据源，提取元数据到datahub。首先，使用pip3安装插件，然后在UI界面创建并配置数据源，包括设置加密的账号密码、定时刷新和数据源命名。对于CLI，创建配置文件并执行命令将元数据导入。完成这些步骤后，可以在datahub中查看和管理元数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、如果没有安装过datahub的mysql插件，先安装(mysql源官方文档)

pip3 install 'acryl-datahub[mysql]'

二、使用ui Ingestion
可以先配置变量，加密账号密码，避免配置文件中明文存储
在这里插入图片描述

2.1 访问localhost:9002/ingestion,点击创建新的数据源
在这里插入图片描述
2.2 选择数据源

2.3. 修改配置文件内容

2.4 设置定时调度刷新元数据
在这里插入图片描述
2.5 设置当前数据源名称

完成后刷新页面，可以看到刚刚设置的数据源，可以点击执行一次
在这里插入图片描述
第一次刷云数据会自动安装对应插件，所以有可能非常慢
hive和mysql配置类似，就不重复了
配置执行后，就可以在首页看到元数据信息了

二、使用CLI Ingestion
创建一个配置文件来需要提取的数据源

vi recipe.yml

source: 
    type: "mysql"
    config: 
        host_port: "localhost:3306"
        database: "test"
        username: "${MYSQL_USERNAME}"
        password: "${MYSQL_PASSWORD}"

sink: 
    type: datahub-rest 
    config: 
        server: "http://xxxx:8080"

执行提取命令，将元数据提取到datahub