Datahub体系结构概述

最新推荐文章于 2025-09-10 11:30:00 发布
原创 最新推荐文章于 2025-09-10 11:30:00 发布 · 749 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

Datahub是一个针对现代数据堆栈设计的第三代元数据平台，强调模型优先和互操作性。其架构特点包括元数据建模的架构优先方法，支持REST和GraphQL API，以及实时的基于流的元数据基础设施，能快速反映元数据变化。此外，Datahub还支持联合元数据服务，适合数据网格环境，允许不同团队独立运营元数据服务。

Datahub体系结构概述

DataHub 是第三代元数据平台，支持数据发现、协作、治理和端到端可观测性 这是为现代数据堆栈构建的。DataHub采用模型优先的理念，重点是解锁两者之间的互操作性 不同的工具和系统。

下图描述了数据中心的高级体系结构。 

 

架构亮点

DataHub的架构有三个主要亮点。

<
最低0.47元/天 解锁文章
【DataHub】 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解
m0_54252387的博客
07-15 984
DataHub服务层的架构图如下：基本概念:DataHub元数据服务(gms)以文档的方式存储元数据，同时兼有以下特点：当元数据更改被成功提交到持久存储时，DataHub Service Tier还会通过kafka发送提交事件元数据审计事件(MAE)。MAE流是一个公共API，可以由外部系统订阅，提供了一种非常强大的方式来实时响应元数据中发生的变化。MetadataAuditEvent (MAE) Consumer Job：MAE消费者是一个Kafka Streams job。它的主要功能是监听Metada
02-Datahub的功能有什么？
大数据流动
02-04 1130
功能介绍
元数据管理Datahub架构讲解
Bulut0907
01-04 4782
Datahub的采用了model-first的架构理念，通过提供一个通用的元数据管理模型，再通过插件的方式集成各种数据平台，进行元数据的导入。整体的架构如下：元数据同步方式多样：可以使用Rest、GraphQL API-s、Avro API(从Kafka消费元数据)数据平台的元数据更改可以实时的被同步到Datahub；在Datahub对元数据进行更改，可以实时的在数据平台进行更新用于储存Metadata Graph的Entities和Aspects(关系)。同时提供插入和查询API。
【Big Data】DataHub 企业级数据总线流式数据处理平台
最新发布
愚者Turbo的博客
09-10 1871
DataHub作为阿里云核心流式数据处理服务，为企业提供高吞吐、低延迟、高可用的实时数据通道，解决了数据孤岛、实时处理与传统批处理架构复杂性等关键挑战。它不仅是阿里云数据中台的重要组成部分，更通过与StreamCompute、MaxCompute等产品的无缝集成，构建了从数据采集到实时分析的完整生态链。
【译】DataHub：元数据管理的三代技术架构解析
markvivv随笔
09-15 1484
十年前，当我开始在 LinkedIn 工作时，公司刚刚开始经历数据的数量、种类和速度的极速增长。在接下来的几年里，我和 LinkedIn 数据基础架构团队的同事们开发了EspressoDatabus和Kafka等基础技术，以确保 LinkedIn 能够在下一波增长浪潮中生存并茁壮成长。几年后，我成为当时规模相当小的 “数据分析基础架构” 团队的技术负责人，该团队负责运行和支持 LinkedIn 的 Hadoop 使用，还负责维护横跨 Hadoop 和 Teradata 的混合数据仓库。
【翻译】DataHub：流行的元数据架构讲解
dengshanhaihai的博客
07-31 2416
原文：https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained 十年前，当我开始在 LinkedIn 旅程时，公司刚刚开始经历数据在数量、种类和速度的急剧增长。在接下来的几年里，我和 LinkedIn 数据基础设施团队的同事建立了 Espresso、Databus 和 Kafka 等基础技术，以确保 LinkedIn 能够在下一波增长中生存和发展。几年后，我成为当时规模相当小的“数
LinkedIn-DataHub专题: 初识DataHub
这个傻猿不太冷
02-22 9362
LinkedIn-DataHub专题: 初识DataHub 本文仅从普及角度让大家对元数据中心系统及其DataHub有个初步了解。DataHub部署、实战、更深入的技术剖析会单独给出 介绍 DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具，在数据资产越来越重视的当下，探索数据治理解决方案，以满足不断增长的大数据复杂生态系统需求。 在这之前我们有必要先了解下整个大环境及其发展历程。 为什么需要元数据管理系统 随着企业的发展，不同的业务场景产生了不同形式的海量技术、业务数据。
datahub GMS
01-23
#### 架构概述 DataHub GMS 是一个基于模型生成的服务，负责管理和操作元数据。该组件利用了 LinkedIn 自研的 RESTful 框架 Rest.li 来实现 API 接口[^2]。Rest.li 提供了一种声明式的接口定义方式，使得开发者可以...
12、数据结构架构解析：从参考架构到技术实现与应用案例
dell8的博客
08-30 39
本文深入解析了数据结构架构的核心组成、技术实现和应用场景。从数据治理层、数据集成层到自助服务层，详细阐述了各层的功能、工具支持及协同机制。结合数据网格和监管合规的实际案例，探讨了数据结构架构在分布式数据管理和法规遵从中的应用价值。同时，文章展望了数据结构架构的未来发展趋势，包括智能化、融合化和生态化方向，为企业构建高效、合规的数据管理体系提供了理论指导和实践参考。
大数据ETL流程中的数据编排最佳实践
AI天才研究院
05-05 1176
随着企业数据规模呈指数级增长，数据仓库、数据湖等数据基础设施的复杂度不断提升。传统ETL流程常面临任务依赖混乱、调度效率低下、错误恢复成本高等问题，数据编排作为解决这些问题的核心技术，其重要性日益凸显。本文聚焦大数据ETL场景下的数据编排技术，涵盖任务依赖建模、调度策略设计、异常处理机制、性能优化等核心议题，结合工业级案例剖析最佳实践，帮助读者构建可扩展、高可靠的ETL工作流。核心概念：定义数据编排，解析其与ETL的关系，构建技术框架关键技术：任务依赖建模、调度算法、异常处理、资源管理实战指南。
DataHub: 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解
penriver的博客
01-29 2014
DataHub是为现代数据栈【Modern Data Stack】构建的第三代元数据平台，支持数据发现、协作、治理和端到端可观察性。DataHub采用模型优先的理念，专注于解锁不同工具和系统之间的互操作性。 本文针对服务体系架构从2个方面进行讲解：服务层组件、存储和查询元数据的4种DAO，让你更新清晰的理解Datahub的服务体系架构
学会DataHub服务让您可以轻松构建基于流式数据的分析和应用
京庐空间
09-14 2017
课程介绍 DataHub服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能，让您可以轻松构建基于流式数据的分析和应用。 产品详情：https://data.aliyun.com/product/datahub 课时列表 课时1：初识DataHub 课时2：通过Connector同步到Odps
DataHub：流行的元数据架构解释
我的博客
09-19 749
十年前，当我在 LinkedIn 开始我的旅程时，该公司刚刚开始经历数据量、种类和速度的极端增长。在接下来的几年里，我和 LinkedIn 数据基础设施团队的同事们构建了如 Espresso、Databus 和 Kafka 等基础技术，以确保 LinkedIn 在下一波增长中生存和繁荣。几年后，我成为当时规模相当小的“数据分析基础设施”团队的技术负责人，该团队运行并支持 LinkedIn 的 Hadoop 使用，还维护了一个横跨 Hadoop 和 Teradata 的混合数据仓库。
DataHub
热门推荐
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
11-24 1万+
DataHub 简介 DataHub 类似于传统大数据解决方案中 Kafka 的角色，提供了一个数据队列功能。 DataHub 除了供了一个缓冲的队列作用。同时由于 DataHub 提供了各种与其他阿里云 上下游产品的对接功能，所以 DataHub 又扮演了一个数据的分发枢纽工作。 DataHub 输入组件包括 Flume：主流的开源日志采集框架 DTS：类似 Canal，日志实时监控采集框架 Logstash：也是日志采集框架，通常和 Elasticsearch、Kibana 集合使用 Fl
DataHub——实时数据治理平台
IT技术大沙龙
04-07 1904
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。 DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。 提到LinkedIn，不得不想到大名鼎鼎的Kafk.
一站式元数据治理平台——Datahub
爱是与世界平行
11-22 3868
首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。
一站式元数据治理平台——Datahub入门宝典
张伟的专栏
02-20 1万+
首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。
DataHub 架构设计与核心工作原理
北斗云的博客
06-14 1049
DataHub 是一个第三代数据目录系统，专为现代数据栈设计，支持数据发现、协作、治理和端到端可观测性。其架构采用模型优先的设计理念，注重不同工具和系统之间的互操作性。
datahub
weixin_30947043的博客
04-16 1517
shard自动分片 多个客户端订阅一个datahub TOPIC时， 服务端要考虑如何记录同步的点位 客户端自己维护订阅的点位， 比较麻烦 自动分片的时间间隔为分钟级 实现原理 通过心跳实现点位的同步, 每个consumer有拉数据线程和心跳线程 https://help.aliyun.com/document_detail/107957.html?spm=a2c4g.11186623.6.55...
如何照着表结构创建datahub
06-29
在DataHub中，创建数据源通常是基于表结构的。以下是按照表结构创建DataHub数据源的一般步骤： 1. **数据源类型选择**: - 根据你的数据源（如关系型数据库、NoSQL数据库、云存储等），选择DataHub支持的数据源类型...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值