Datahub体系结构概述

最新推荐文章于 2025-06-14 16:19:39 发布
原创 最新推荐文章于 2025-06-14 16:19:39 发布 · 666 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

Datahub是一个针对现代数据堆栈设计的第三代元数据平台，强调模型优先和互操作性。其架构特点包括元数据建模的架构优先方法，支持REST和GraphQL API，以及实时的基于流的元数据基础设施，能快速反映元数据变化。此外，Datahub还支持联合元数据服务，适合数据网格环境，允许不同团队独立运营元数据服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Datahub体系结构概述

DataHub 是第三代元数据平台，支持数据发现、协作、治理和端到端可观测性 这是为现代数据堆栈构建的。DataHub采用模型优先的理念，重点是解锁两者之间的互操作性 不同的工具和系统。

下图描述了数据中心的高级体系结构。 

 

架构亮点

DataHub的架构有三个主要亮点。

<
最低0.47元/天 解锁文章

200万优质内容无限畅学
【DataHub】 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解
m0_54252387的博客
07-15 897
DataHub服务层的架构图如下：基本概念:DataHub元数据服务(gms)以文档的方式存储元数据，同时兼有以下特点：当元数据更改被成功提交到持久存储时，DataHub Service Tier还会通过kafka发送提交事件元数据审计事件(MAE)。MAE流是一个公共API，可以由外部系统订阅，提供了一种非常强大的方式来实时响应元数据中发生的变化。MetadataAuditEvent (MAE) Consumer Job：MAE消费者是一个Kafka Streams job。它的主要功能是监听Metada
DataHub: 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解
penriver的博客
01-29 1916
DataHub是为现代数据栈【Modern Data Stack】构建的第三代元数据平台，支持数据发现、协作、治理和端到端可观察性。DataHub采用模型优先的理念，专注于解锁不同工具和系统之间的互操作性。 本文针对服务体系架构从2个方面进行讲解：服务层组件、存储和查询元数据的4种DAO，让你更新清晰的理解Datahub的服务体系架构
元数据管理Datahub架构讲解
Bulut0907
01-04 4518
Datahub的采用了model-first的架构理念，通过提供一个通用的元数据管理模型，再通过插件的方式集成各种数据平台，进行元数据的导入。整体的架构如下：元数据同步方式多样：可以使用Rest、GraphQL API-s、Avro API(从Kafka消费元数据)数据平台的元数据更改可以实时的被同步到Datahub；在Datahub对元数据进行更改，可以实时的在数据平台进行更新用于储存Metadata Graph的Entities和Aspects(关系)。同时提供插入和查询API。
DataHub 架构设计与核心工作原理
最新发布
北斗云的博客
06-14 889
DataHub 是一个第三代数据目录系统，专为现代数据栈设计，支持数据发现、协作、治理和端到端可观测性。其架构采用模型优先的设计理念，注重不同工具和系统之间的互操作性。
【译】DataHub：元数据管理的三代技术架构解析
markvivv随笔
09-15 1252
十年前，当我开始在 LinkedIn 工作时，公司刚刚开始经历数据的数量、种类和速度的极速增长。在接下来的几年里，我和 LinkedIn 数据基础架构团队的同事们开发了EspressoDatabus和Kafka等基础技术，以确保 LinkedIn 能够在下一波增长浪潮中生存并茁壮成长。几年后，我成为当时规模相当小的 “数据分析基础架构” 团队的技术负责人，该团队负责运行和支持 LinkedIn 的 Hadoop 使用，还负责维护横跨 Hadoop 和 Teradata 的混合数据仓库。
【翻译】DataHub：流行的元数据架构讲解
dengshanhaihai的博客
07-31 2366
原文：https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained 十年前，当我开始在 LinkedIn 旅程时，公司刚刚开始经历数据在数量、种类和速度的急剧增长。在接下来的几年里，我和 LinkedIn 数据基础设施团队的同事建立了 Espresso、Databus 和 Kafka 等基础技术，以确保 LinkedIn 能够在下一波增长中生存和发展。几年后，我成为当时规模相当小的“数
datahub GMS
01-23
#### 架构概述 DataHub GMS 是一个基于模型生成的服务，负责管理和操作元数据。该组件利用了 LinkedIn 自研的 RESTful 框架 Rest.li 来实现 API 接口[^2]。Rest.li 提供了一种声明式的接口定义方式，使得开发者可以...
大数据领域数据工程：从理论到实践的全面剖析
AI天才研究院
05-10 1205
随着企业数字化转型加速，日均产生的PB级数据对数据处理能力提出空前挑战。数据工程作为连接数据采集与数据分析的桥梁，其核心目标是构建高效、可靠、可扩展的数据处理管道，确保数据从原始状态转化为可用于商业决策的高质量资产。本文覆盖数据工程全生命周期，包括数据集成、清洗、存储、治理及应用，结合主流技术框架（如Apache Spark、Hadoop、Flink）与前沿架构（数据湖仓一体、云原生数据平台），提供从理论到代码实现的深度解析。核心概念：定义数据工程核心要素，解析技术栈与架构演进技术深度。
大数据领域数据中台的架构设计与优化思路
AI天才研究院
05-07 1002
随着企业数字化转型加速，数据孤岛、重复建设、业务响应慢等问题成为数据价值释放的核心瓶颈。数据中台作为连接底层数据基础设施与上层业务应用的核心枢纽，通过统一数据标准、沉淀数据资产、提供共享服务，实现数据能力的复用与业务敏捷创新。本文聚焦数据中台技术架构的核心组成部分，涵盖数据采集、存储计算、治理服务等全链路，探讨工程化落地中的关键技术难点与优化策略。基础理论层：定义核心概念，构建技术架构全景图技术实现层：解析关键模块的算法原理、数学模型与代码实现工程实践层：提供开发流程、行业案例、工具资源与未来展望。
大数据时代：如何打造高效数据产品的10个关键步骤
AI天才研究院
05-03 1261
随着企业数字化转型加速，数据产品已成为驱动业务增长的核心载体。据Gartner预测，2025年全球数据产品市场规模将突破1200亿美元。本文聚焦数据产品从需求分析到持续运营的全生命周期，提炼10个可落地的关键步骤，涵盖数据战略规划、技术架构设计、智能模型开发、用户体验优化等核心领域，提供工程化实施指南。战略层（步骤1-3）：解决"为什么做"和"做什么"的问题技术层（步骤4-7）：聚焦数据处理、建模、可视化的技术实现实施层（步骤8-10）：关注产品落地、运营及迭代优化数据产品。
学会DataHub服务让您可以轻松构建基于流式数据的分析和应用
京庐空间
09-14 1992
课程介绍 DataHub服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能，让您可以轻松构建基于流式数据的分析和应用。 产品详情：https://data.aliyun.com/product/datahub 课时列表 课时1：初识DataHub 课时2：通过Connector同步到Odps
阿里云datahub
07-20
这是一个阿里云datahub的jar包，在阿里云官网上下载不了
DataHub：流行的元数据架构解释
我的博客
09-19 619
十年前，当我在 LinkedIn 开始我的旅程时，该公司刚刚开始经历数据量、种类和速度的极端增长。在接下来的几年里，我和 LinkedIn 数据基础设施团队的同事们构建了如 Espresso、Databus 和 Kafka 等基础技术，以确保 LinkedIn 在下一波增长中生存和繁荣。几年后，我成为当时规模相当小的“数据分析基础设施”团队的技术负责人，该团队运行并支持 LinkedIn 的 Hadoop 使用，还维护了一个横跨 Hadoop 和 Teradata 的混合数据仓库。
DataHub
热门推荐
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
11-24 1万+
DataHub 简介 DataHub 类似于传统大数据解决方案中 Kafka 的角色，提供了一个数据队列功能。 DataHub 除了供了一个缓冲的队列作用。同时由于 DataHub 提供了各种与其他阿里云 上下游产品的对接功能，所以 DataHub 又扮演了一个数据的分发枢纽工作。 DataHub 输入组件包括 Flume：主流的开源日志采集框架 DTS：类似 Canal，日志实时监控采集框架 Logstash：也是日志采集框架，通常和 Elasticsearch、Kibana 集合使用 Fl
DataHub——实时数据治理平台
IT技术大沙龙
04-07 1824
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。 DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。 提到LinkedIn，不得不想到大名鼎鼎的Kafk.
一站式元数据治理平台——Datahub入门宝典
张伟的专栏
02-20 1万+
首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。
datahub
weixin_30947043的博客
04-16 1490
shard自动分片 多个客户端订阅一个datahub TOPIC时， 服务端要考虑如何记录同步的点位 客户端自己维护订阅的点位， 比较麻烦 自动分片的时间间隔为分钟级 实现原理 通过心跳实现点位的同步, 每个consumer有拉数据线程和心跳线程 https://help.aliyun.com/document_detail/107957.html?spm=a2c4g.11186623.6.55...
DataHub - 为现代数据技术栈而生的元数据管理平台
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
12-21 3888
DataHub;元数据管理
datahub 汉化
ForRubyDownLoad的博客
12-26 997
路径：datahub-web-react/src/app/home/HomePageRecommendations.tsx有些标题是写在后端的， 不想改后端， 所以写了一个替换的functionreturn "热门数据";return "最近查看";return "数据平台";return "热门标签";
如何照着表结构创建datahub
06-29
在DataHub中，创建数据源通常是基于表结构的。以下是按照表结构创建DataHub数据源的一般步骤： 1. **数据源类型选择**: - 根据你的数据源（如关系型数据库、NoSQL数据库、云存储等），选择DataHub支持的数据源类型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值