关于成功实施数据网格(Data Mesh)的几点建议

大数据架构未来趋势:数据网格(Data Mesh)架构深度解析 随着企业数字化转型深入,数据规模呈指数级增长,传统数据架构(如数据仓库、数据湖)面临数据孤岛、治理成本高、响应速度慢等挑战。从理论到实践的完整知识体系核心技术原理的深度解析企业级落地的实施路径典型场景的解决方案覆盖技术范围包括:领域驱动设计(DDD)、微服务架构、数据治理、分布式系统、元数据管理等。背景与核心概念:定义数据网格,对比传统架构核心原理:四大原则的技术实现路径数学模型:数据质量与治理的量化方法实战指南:完整代码案例与部署流程应用场景:行业最佳实践。 阅读详情

作者:Denodo 首席技术官 Alberto Pan

企业多年来的一贯做法是通过数据仓库或近年来兴起的数据湖,将所有数据持续整合到单一位置。数据仓库、数据集市和传统数据库需以特定方式对数据进行结构化和条理化,相比之下,数据湖具有多项关键优势。然而企业发现,他们在构建和管理自己的数据湖方面投入越多,从中获得的价值反而越少。企业也由此看到集中式数据基础架构和方法会带来不符合预期的后果,包括:

  1. 存在认知差异:集中式数据团队对数据的了解程度不足以与只专注于全部数据集中特定部分的具体业务团队相提并论。

  2. 基础架构僵化:集中式数据基础架构缺乏灵活性,难以满足企业内不同部门的需求。

  3. 价值实现延后:集中多个数据源的数据会耗费大量时间,导致数据使用者无法按需访问数据。

为了克服这些问题,企业开始密切关注一种名为“数据网格”的分散式数据基础架构新方法。德勤报告认为,“数据网格概念是一种管理数据的民主化方法,不同业务域在中央自助式数据基础架构的支持下使用自己的数据。该基础架构包括配套的数据管道引擎、存储和计算能力。数据网格并非将企业数据看作单一巨型数据存储库,而是将其视为一组数据产品存储库。因此,业务域(比如“金融”)会以产品形式提供数据,它们能够随时用于分析目的,具有可发现性与可靠性。就此而言,数据产品负责人本身便是拥有深厚域知识的业务域代表。”

在数据网格配置中,企业内的不同部门或群组将拥有单独的数据域,由中央自助式数据平台提供支持,并按照一套总体标准进行管理,以确保互操作性。每个数据域都将提供各自的数据产品,经过专门设计,方便目标受众使用,并且符合企业全局标准。尽管所有权分散,但预配和治理保持一定程度的集中。 数据网格架构有望克服完全集中式基础架构的局限性。但是,许多企业仍然质疑如何在获得中央数据平台支持与保持域的独立性之间实现这种微妙的平衡,并希望借助数据虚拟化 (DV) 等现有技术来解决这一问题。

在这里插入图片描述

支持无复制数据访问
能够有所帮助的解决方案形形色色,数据虚拟化作为一种数据集成技术,已成为实现数据网格的关键环节。与提取、转换和加载 (ETL) 流程以及其他面向批处理的数据集成方法不同,Denodo数据虚拟化让数据使用者无需先将数据复制到集中式存储库即可访问数据。从这一层面来看,可以认为数据虚拟化本质上是一种“分散式”数据集成策略,因为这种策略将在企业的不同数据源之上建立企业范围的数据层。要在不同数据源之间进行查询时,数据使用者只需查询数据虚拟化层,然后该层便会检索所需数据,让使用者不必受困于访问的复杂性。数据虚拟化层不含实际数据;但其存储了访问各种数据源所需的所有元数据。

Denodo数据虚拟化提供单一位置来存储元数据,支持企业从单一控制点,在整个企业范围内自动实现基于角色的安全性和执行数据治理协议。例如,企业可以自动脱敏处理薪资数据,用户必须拥有必要凭据才可查看此类信息。数据虚拟化层提供数据网格架构中所需的自助式数据平台的大部分必要功能。

企业可在数据虚拟化层之上实施多个语义层,由不同部门架构,并作为半自治数据域运行。每一个语义层都可以灵活地调整或移除,而不会改变或影响底层数据。因此,企业可以轻松地建立支持跨不同域重用的标准数据定义,并确保不同数据产品之间的语义互操作性,从而促进联合治理。

打造数据产品
当企业希望通过数据网格来开发数据产品时,他们会利用数据虚拟化层来创建虚拟模型,而利益相关者无需了解为之提供信息的数据源的复杂性。因此,企业可以利用一系列灵活的方法(例如 SQL、REST、OData、GraphQL 或 MDX),使这些虚拟模型作为数据产品被访问,此过程不需要编写代码。

此外,这些模型还具备用于支持数据产品的数据沿袭跟踪、自主记录、变更影响分析、身份管理和单点登录 (SS0) 等功能。通过集中存储元数据,数据虚拟化层可以提供全功能综合数据产品目录的所有必要成分,以供通过该目录清晰解读企业中按域有序排列的数据资产。

建立数据域自治
Denodo数据虚拟化使企业能够在不影响底层数据的情况下,在源数据之上构建视图和语义模型,因此也为数据域自治提供了现成的基础。该架构使数据域利益相关者能够选择为其产品提供数据的数据源,并根据需要更改组合以满足其需求。一些业务部门已在运营自己的数据集市和满足偏好的 SaaS 应用程序,由于数据域可以独立扩展,这些部门能够在数据网格配置中轻松地重用信息。

请务必注意,数据虚拟化不能取代数据仓库和数据湖等单体存储库;数据虚拟化处理此类存储库的方式与任何其他数据源相同,在数据网格配置中,它们将成为网格中的节点。这意味着与现有数据仓库或数据湖联系紧密的数据域可以继续通过这种方式为某些数据产品提供服务,例如需要机器学习的数据产品。在这种情况下,数据产品将继续通过虚拟层被访问,管理数据产品的协议也与负责数据网格其余部分的协议相同。

数据网格可以避开高度集中型数据基础架构的许多陷阱,是一种前景广阔的新架构。但是企业需要正确的技术支撑,才能通过简单明了的方式有效地利用数据网格,而无需更换旧硬件。

Gartner《如何有效融合Data Fabric 与Data Mesh数据战略》学习心得 在当今数字化时代,数据已成为企业最为重要的战略资产之一。企业对于高效的数据管理架构的需求日益迫切,以确保能够从海量数据中提取有价值的信息,支持业务决策和创新。近年来,数据编织(Data Fabric)和数据网格(Data Mesh)成为了数据管理领域的两个热门概念,在行业内引发了广泛讨论与实践探索。 阅读详情

相关推荐

数据网格(Data Mesh) vs 数据湖:核心差异与选型建议

随着企业数字化进程加速,数据已成为核心生产要素。但传统数据架构(如数据仓库)在应对海量多源数据、跨部门协作、实时分析需求时逐渐力不从心。数据湖(2010年代兴起)和数据网格(2020年代提出)作为两种新兴数据架构,分别从“存储中心”和“业务中心”视角重构数据管理体系。本文聚焦两者的核心差异,覆盖技术原理、实施路径、适用场景等维度,帮助企业选择更匹配的架构方案。本文按“概念解析→核心差异→实战案例→选型建议”逻辑展开。

操作系统内核探秘的博客 610

一文读懂 Data Mesh

将一个系统置于恒定的约束之下可能会导致脆弱性的进化。-- C.S. Holling, ecologist成为一个数据驱动的组织是许多公司的战略目标之一,因为数据驱动的好处显而易见: 基于数据和个性化提供最好的客户体验; 通过数据驱动的优化降低运营成本和时间; 给予员工具有趋势分析和商业智能的力量。然而,尽管在构建数据平台方面付出了越来越多的努力和投资,仍然会发现结果并不理想。当前的技术进步解决了数...

我相信...... 1293

数据网格(Data Mesh)架构:下一代大数据平台设计理念

你有没有过这样的经历?在公司用数据做分析时,发现需要的用户行为数据在A部门的数据库里,订单数据在B部门的Excel里,商品数据在C部门的私有系统里——要把这些数据凑齐,得打无数个电话、填N张申请表,最后拿到的数据还可能格式混乱、版本过时?这种“数据孤岛”现象,正是传统集中式大数据平台的典型痛点。本文将带你认识一种全新的架构理念——数据网格(Data Mesh),它被Gartner称为“未来五年最具潜力的大数据架构”,能帮企业彻底解决这些问题。

AI Agent Harness Engineering 1064

DataMesh:一种数据架构和数据治理方法论

旨在应对传统数据平台在规模化扩展中的挑战,尤其是组织大规模数据管理和分析的复杂性。DataMesh 依赖于提供统一的、可自助的数据基础设施,使领域团队能够高效地构建和发布数据产品。DataMesh 提倡一种协作的治理模式,以平衡去中心化的灵活性与组织级别的标准化需求。数据被视为一种产品,每个领域的团队负责自己领域的数据产品,确保数据高质量、可靠、可用。DataMesh 的核心在于分布式治理,每个领域团队负责其相关数据的治理和管理。,让数据平台和团队能够更高效地管理和利用数据。DataMesh 是一种。

z1941563559的博客 808

数据网格(Data Mesh)实战:构建可扩展的大数据基础设施

传统大数据架构(如集中式数据仓库)为何难以适应企业数据规模增长?数据网格的核心思想是什么?如何用生活场景理解它?如何分步骤落地数据网格?需要哪些工具和技术?真实企业案例中,数据网格带来了哪些具体价值?用“社区买菜”故事引出数据网格核心矛盾;拆解数据网格四大支柱(领域所有权、数据产品、自助设施、联邦治理);通过电商平台案例,演示从“领域划分”到“治理落地”的全流程;总结工具推荐、未来趋势与常见问题。数据网格(Data Mesh)

AI天才研究院 1094

如何在大数据项目中实施数据网格(Data Mesh)架构?

在当今数据驱动的商业环境中,传统集中式数据架构正面临前所未有的挑战。随着企业数据规模呈指数级增长,数据团队常常陷入维护庞大数据管道的泥潭,业务部门则苦于等待数据访问权限和转换结果。Data Mesh作为一种新兴的分布式数据架构范式,为解决这些问题提供了全新的思路。本文将带你全面了解Data Mesh的核心原则,并通过一个真实的大数据项目案例,详细展示如何从零开始实施Data Mesh架构。如何将集中式数据湖/仓库转变为分布式数据产品网络领域驱动设计在数据架构中的应用实践。

软件工程实践的博客 1046

数据网格的原理和逻辑架构

一、什么是数据网格 数据网格(Data Mesh)是一种应用在企业内部的数据平台原则,其融合了分布式领域驱动的架构(DistributedDomain Driven Architecture),自助平台设计(Self-serve Platform Design)以及将数据视为产品(Thinking Data as a Product)的思维。 数据网格专注于将数据视为产品,产品团队了解自己所使用的数据的方方面面(也就是所有的域)。并且 Data Mesh 将数据所有权上移给了负责某一项功能的团队,让他.

cdfunlove的博客 2388

数据网格(Data Mesh)中的数据Ops实践

在当今数字化时代,数据已经成为企业的重要资产。数据网格(Data Mesh)作为一种新兴的数据管理架构,旨在解决传统数据管理方式在大规模、复杂数据环境下的挑战。而数据Ops则是确保数据网格有效运行的关键实践。本文的目的就是深入探讨数据网格中数据Ops的具体实践方法和相关要点,范围涵盖核心概念、算法原理、项目实战、应用场景等多个方面。本文将首先介绍数据网格和数据Ops的核心概念及其相互关系,然后详细阐述数据Ops在数据网格中的算法原理和操作步骤,通过数学模型和公式进行深入分析。

大数据洞察的博客 666

Data Mesh:技术实现主要涉及的几个方面

Data Mesh的技术实现本质上是去中心化、自治和产品化的,通过为每个领域提供数据自主权,解决了单一数据仓库无法满足大规模组织需求的问题。同时,它对数据治理、标准化和技术栈的选择提出了高要求,需要高度的技术平台支持和跨部门的协作。

z1941563559的博客 569

大数据架构演进:数据网格(Data Mesh)核心概念解析

随着企业数字化转型深入,数据已成为核心生产要素。但传统大数据架构(如数据仓库、数据湖)在应对跨部门协作、实时需求、数据质量等问题时逐渐力不从心。为什么传统架构无法满足现代企业需求?数据网格的“四大支柱”如何解决实际问题?企业如何从0到1落地数据网格?用“社区超市升级”的故事类比传统数据架构的痛点;拆解数据网格四大核心概念(领域自治、数据作为产品、自助服务、全局治理);用“超市联盟”模型解释概念间的协作关系;通过架构图与代码示例展示技术实现;结合零售、金融等行业案例说明应用场景;

AI智能探索者的博客 888

ShardingSphere-JDBC-若依框架集成(SpringBoot)

ShardingSphere基础知识、ShardingSphere-JDBC如何集成进若依框架中 使用的是若依框架前后端版本、动态数据源,可自行切换,默认数据源为达梦8代理端,

编程小菜鸟的笔记 8169

什么是Data Mesh?

ThoughtWorks 在 2020 年 10 月发布的技术雷达中,将 Data Mesh 从“评估”调升到了“试验”(ThoughtWorks 对“试验”阶段的技术的建议是:“值得一试。),这意味着 Data Mesh 已经通过可行性验证,转而进入建议采纳阶段。据了解,包括 Zalando、Intuit、Netflix、JPMorgan Chase 等公司都已经在尝试...

LinkTime_Cloud的博客 1651

Etcd教程 — 第三章 Etcd集群动态发现、DNS发现

Etcd教程 — 第三章 Etcd集群动态发现、DNS发现

Mr_XiMu的博客 2826

怎么理解数据网格(Data Mesh)

来源:网络翻译 编辑:数据一哥全文共2179个字,建议阅读 5分钟数据网格是一种架构模式,用于在大型复杂组织中实现企业数据平台。它有助于扩展分析的采用范围,使其超越单个平台和单个实施团队01背景对分析的需求并不新鲜。组织总是需要分析业务绩效,自从引入计算机以来,就一直使用计算机来分析业务绩效。大约在20世纪80年代,组织开始通过使用专门用于决策支持的数据库来构建...

数据一哥,公众号:数据社 8601

将一维数据(序列)转化为二维数据(图像)的方法汇总GAFS, MTF, Recurrence plot,STFT

虽然深度学习方法(1D CNN, RNN, LSTM 等)可以直接处理一维数据,但是当前的深度学习方法主要还是处理二维结构数据的,特别是在计算机视觉CV以及自然语言处理NLP领域,各种各样的方法层出不穷。因此,如果能够将一维序列数据转化为二维(图像)数据, 则可以直接结合CV以及NLP领域的方法,是不是很有趣! GAF, GASF, GADF, MTF, Recurrence Plot, STFT, 短时傅里叶变换

MasterQKK 5万+

OpenCV实战:如何用Debevec算法搞定相机响应函数(附完整代码)

本文详细介绍了如何使用OpenCV实现Debevec算法计算相机响应函数(CRF),并应用于HDR图像合成。通过完整的代码示例和工程实践问题解决方案,帮助开发者掌握从原理到实现的关键步骤,提升高动态范围成像和计算机视觉任务的处理能力。

weixin_29061041的博客 232

你知道数据网格(Data Mesh )吗

数据网格(Data Mesh)是由 Thoughtworks 提出的一种数据域驱动的分析架构,其中数据被视为一种产品,由最了解并且消费这些数据的团队来负责管理。本次我们转载了 Eric Broda 发表在 Medium.com 的博客,文章从数据网格的架构、场景、方案等多方面展开了阐述,希望能帮助大家进一步了解数据网格。#01数据网格正在变革企业数据管理大家都说数据是新黄...

数据一哥,公众号:数据社 8635

告别重打包:在Android 9上实现免Root的Frida-Gadget持久化Hook(附AOSP源码修改详解)

本文详细介绍了在Android 9上实现免Root的Frida-Gadget持久化Hook技术方案。通过修改AOSP源码,绕过传统重打包方式面临的签名校验和完整性检查,实现在非Root环境下的系统级Hook。文章包含核心代码修改、编译配置调整及调试技巧,为移动安全研究提供高效稳定的解决方案。

weixin_33726313的博客 501

数据编织 (Data Fabric) vs 数据网格 (Data Mesh)

数据编织和数据网格概念听起来非常相似,但这两种方法存在根本差异,因此值得花一些时间来了解它们的差异。

独立开发,substack顶级编辑 5650

10、皮肤 - 神经记录实验全流程解析

本博客详细介绍了皮肤-神经记录实验的全流程,涵盖实验所需的材料准备和具体操作方法。内容包括细胞外记录设备的设置、合成间质液(SIF)的制备与调节、小鼠后爪皮肤和胫神经的手术解剖步骤、清洁解剖后的记录准备、纤维分离与感受野识别方法,以及神经纤维机械响应的测量。该实验为研究神经纤维的活动与功能提供了重要的技术支持,适用于神经科学研究领域。

backprop5master的博客 186

【SpringBoot 3.x 第56节】再见 Feign?原生 HTTP 接口强势上位,这才是微服务调用的正确姿势!

🏆本文收录于《滚雪球学SpringBoot 3》,专门攻坚指数提升,本年度国内最系统+最专业+最详细(永久更新)。    本专栏致力打造最硬核 SpringBoot3 从零基础到进阶系列学习内容,🚀均为全网独家首发,打造精品专栏,专栏持续更新中…欢迎大家订阅持续学习。 如果想快速定位学习,可以看这篇【SpringBoot3教程导航帖】,你想学习的都被收集在内,快速投入学习!!两不误。    若还想学习更多,可直接前往《滚雪球学SpringBoot(全版本合集)》,涵盖SpringBoot所有版本教学文章

**My Coding Family** 1018
上一篇: 应势而为 图数据科学在中国大行其道
下一篇: 性能为王,科视 1DLP 激光投影机以“质”服人
白恍然
博客等级 码龄6年 2粉丝 2原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值