为什么成功的数据网格实施需要数据虚拟化?

如何用数据编织、数据虚拟化与SQL-on-Hadoop打造实时、可扩展兼容的数据仓库? 在企业的现有数据平台基础上,引入数据虚拟化技术,逐步实现逻辑数据仓库的搭建。通过整合Hadoop、NoSQL和传统数据仓库,企业能够构建一个高度灵活的数据访问层,为大数据分析和实时业务决策提供支撑。 阅读详情

作者:Denodo 高级副总裁兼首席营销官 Ravi Shankar

组织多年来的一贯做法是将所有数据整合到单一位置,例如数据仓库或近年来兴起的数据湖。但是,集中式数据基础架构的一些弊端已初现端倪:

  1. 集中式数据团队对数据的了解程度无法与只专注于全部数据中特定部分的具体业务团队相提并论。
  2. 集中式数据基础架构缺乏灵活性,难以满足组织内所有不同部门的需求。
  3. 集中多个数据源的数据不仅会耗费大量时间,而且还会导致数据使用者无法按需访问数据。
    为了克服这些问题,技术顾问 Zhamak Dehghani 提议采用一种名为“数据网格”的分散式数据基础架构。
    在数据网格配置中,组织内的不同部门或群组将拥有单独的“数据域”,由中央自助式数据平台提供支持,并按照一套总体标准进行管理,以确保互操作性。每个数据域都将提供“数据产品”,设计上方便目标受众使用,且符合组织全局标准。
    值得一提的是,尽管所有权分散,但预配和治理保持集中。此架构具有直观意义,并有望克服完全集中式基础架构的局限性,但组织如何在获得中央数据平台支持与保持域的独立性之间实现一种微妙的平衡呢?
    进入数据虚拟化
    Denodo数据虚拟化作为一种数据集成技术,堪称实现数据网格的完美选择。与提取、转换和加载 (ETL) 流程以及其他面向批处理的数据集成方法不同,数据虚拟化让数据使用者无需先将数据复制到集中式存储库即可访问数据。因此,数据虚拟化在本质上可以被视为一种“分散式”数据集成策略。
    数据虚拟化是一个建立在组织内不同数据源之上的企业范围的层。要在不同数据源之间进行查询时,数据使用者只需查询数据虚拟化层,然后该层便会检索所需数据,让使用者不必受困于访问的复杂性。

在这里插入图片描述

数据虚拟化层不含实际数据;但其存储了访问各种数据源所需的所有元数据。数据虚拟化提供单一位置来存储元数据,支持组织从单一控制点,在整个组织范围内自动实现基于角色的安全性和执行数据治理协议。例如,组织可以自动脱敏处理薪资数据,用户必须拥有必要凭据才可查看此类信息。
数据虚拟化层提供数据网格架构中所需的“自助式数据平台”的所有必要功能。组织可在数据虚拟化层之上实施多个语义层,由不同部门架构,并作为半自治数据域运行。每一个语义层都可以灵活地调整、更改或移除,而不会改变或影响底层数据。此外,组织可以轻松地建立支持跨域重用的标准数据定义。
数据虚拟化和数据产品
数据虚拟化完全适用于数据产品开发。即使编码能力有限,利益相关者也可利用数据虚拟化层创建虚拟模型,无需了解为之馈送信息的数据源的复杂性。随后,他们可以利用一系列灵活的方法(例如 SQL、REST、OData、GraphQL 或 MDX),使这些虚拟模型作为数据产品被访问,此过程同样不需要编写代码。
“开箱即用”型数据虚拟化设置的初衷是为数据产品提供支持,使其兼容数据沿袭跟踪、自主记录、变更影响分析、身份管理和单点登录 (SSO) 等功能。
此外,数据虚拟化还支持在组织范围内的数据产品目录中注册数据产品。通过集中存储元数据,数据虚拟化层可向组织中按域有序排列的数据资产提供全功能综合目录的所有必要成分。
数据虚拟化和数据域自治
数据虚拟化使组织能够在不影响底层数据的情况下,在源数据之上构建视图和语义模型,因此,数据虚拟化为数据域自治提供了现成的基础。
在基于数据虚拟化的架构中,数据域利益相关者将能够选择为其产品馈送数据的数据源,并根据需要更改这一组合。许多业务部门已经在运营自己的数据集市和满足偏好的 SaaS 应用程序,并且在数据网格配置中重用这些内容易如反掌。数据域可以通过数据虚拟化独立扩展。
请务必注意,数据虚拟化不能取代数据仓库和数据湖等单体存储库;数据虚拟化处理此类存储库的方式与任何其他数据源相同,在数据网格配置中,它们将成为网格中的节点。这意味着与现有数据仓库或数据湖联系紧密的数据域可以继续通过这种方式为某些数据产品提供服务,例如需要机器学习的数据产品。在这种情况下,数据产品仍将通过虚拟层被访问,管理数据产品的协议也与管理数据网格其余部分的协议相同。
编织网格
数据网格可以避开高度集中型数据基础架构的许多陷阱,是一种前景广阔的新架构。幸运的是,数据虚拟化作为一种现代数据集成和数据管理技术,有望以一种简单明了的方式落实数据网格理念,而无需更换旧硬件。

5种数据编织应用场景:数据虚拟化如何推动分布式数据库的创新与探索 随着大数据和物联网(IoT)的迅猛发展,数据科学的各个领域也在不断进化。这些技术的结合不仅推动了科学、商业和市场决策的进步,同时也给信息检索带来了前所未有的挑战。尤其是在数据量不断膨胀的今天,找到有价值的数据变得比以往任何时候都更加困难。尽管良好的数据治理和文档化模型能够提供一定的帮助,但如何从分散在各个孤岛中的数据中找到有用的信息,依然是一大难题。在这种背景下,数据虚拟化(Data Virtualization)作为一种突破性的技术,带来了重要的变革。 阅读详情

相关推荐

数据治理 | 数据编织与数据网格架构,以虚拟化为引擎落地实现去中心化的实时智能数据集成

数据虚拟化、数据网格和数据编织代表了数据管理的新方向,它们通过提供灵活、分布式的数据管理方法,帮助企业释放数据潜能,驱动数字化转型

Denodo的博客 2440

数据虚拟化、Data Fabric(数据编织)的兴起,对数据管理有何帮助?

帮助企业无需复制和搬运数据、无需关注数据任务运维、无需担心查询性能,实现全域数据的逻辑整合

Aloudata的博客 1489

【深入解析】数据治理 | 逻辑数据仓库、数据编织与数据网格,掌握构建下一代数据架构的关键技术

企业可以将最核心的、高访问频率的数据保存在性能更高的物理数据仓库中,而将历史性或低频访问的数据存储在如 Hadoop 集群这样的低成本环境中。基于元数据驱动的架构使得逻辑数据编织能够按需完成数据集成工作,这意味着在数据集成过程中,逻辑数据编织可以动态地适应不同的数据需求。这种融合的方式,既能利用元数据驱动的数据编织优势,又能发挥数据网格的自治性,为企业提供全面的数据治理能力。数据网格将数据交付视为数据产品,并将其分类为三种类型:源域的数据产品、跨域的数据产品以及面向业务的数据产品。

Denodo的博客 2673

【数据编制架构】什么是数据编织(Data fabric)? 完整指南

本文探讨了 Data Fabric 的内容、原因、方式和人员,包括 Data Fabric 架构、挑战、优势、核心功能、供应商等。Data Fabric——以数据为中心的企业的“必备”在过去几年中,“Data Fabric”一词已成为企业数据集成和管理的代名词。分析公司 Gartner 将“数据编织”列为“2021 年十大数据和分析技术趋势”之一,并预测到 2024 年,...

全网:架构师研究会 1万+

数据治理新范式 | 数据网格与数据编织双融合

数据网格(Data Mesh)和数据编织(Data Fabric)正逐渐成为现代数据架构的核心理念,分别以全局视角和领域视角,为企业提供创新的数据管理方式。在现代数据架构中,仅仅拥有数据网格或数据织构是不够的。数据网格与数据编织,无疑是当前两种备受瞩目的现代数据架构:前者以分布式数据产品为核心,后者强调全局协调的自助数据层。数据编织是一种全局性的数据架构,通过统一协调的自助数据层,跨部门、跨平台提供一致的数据访问和服务。从元数据到实际数据的无缝衔接,让企业既能掌握数据资产全貌,又能轻松实现数据的深度利用。

Denodo的博客 1211

数据网格(Data Mesh)与数据虚拟化技术的结合应用

企业数据管理正经历一场从“集中式仓库”到“分布式生态”的革命过去,我们像“盖大超市”一样建数据仓库/湖,把所有数据集中存储,但结果是“找货慢、更新慢、用户不会用”;现在,数据网格让数据像“社区便利店”一样自主经营——每个业务域(比如电商、门店、库存)负责自己的数据产品,就像便利店店主管理商品;而数据虚拟化则像“便利店的电子货架”,把所有分散的便利店商品逻辑聚合,用户不用跑遍小区找货,直接在货架上“即查即用”。本文将用“社区商业生态”的类比,拆解这两大技术的核心逻辑,通过零售企业全渠道分析。

操作系统内核探秘的博客 687

死磕了老半天,终于读懂了数据编织(Data Fabric) by 傅一平

Gartner发布的2022年重要战略技术趋势,Data Fabric(数据编织)赫然在列,这个概念现在挺火的,国内国外甚至有了相关产品,但数据编织这个概念并不是那么好理解。假如要跟老板解释这个新概念,我是完全没信心的,虽然Gartner也做了解释,但过于抽象,各种概念乱飞,什么主动元数据,活动元数据,知识图谱等等,各个厂家也是你方唱罢我登场,都在基于自己的产品能力诠释着...

fuyipingwml1976124的博客 3710

50、数据网格的虚拟化服务

本文深入探讨了数据网格的虚拟化服务及其在分布式数据管理中的核心作用。从数字图书馆与数据网格的基本概念入手,分析了虚拟化与数据抽象的不同级别,并重点讨论了仿真和迁移两种视角下的数据管理策略。文章详细介绍了数据网格的存储抽象、操作与服务、注册与发现机制,以及其在知识管理方面面临的挑战与解决方案。通过多个实际项目案例,展示了数据网格在多学科领域的广泛应用及其未来发展趋势,包括标准化、功能拓展、与新兴技术结合等方向。最后,文章总结了数据网格面临的主要挑战,并提出了相应的解决方案和未来展望,为构建全球数据基础设施和推

lstm7chronicler的博客 41

关于成功实施数据网格(Data Mesh)的几点建议

企业多年来的一贯做法是通过数据仓库或近年来兴起的数据湖,将所有数据持续整合到单一位置。数据仓库、数据集市和传统数据库需以特定方式对数据进行结构化和条理化,相比之下,数据湖具有多项关键优势。...

techdata1的博客 332

从概念到落地:大数据环境中的数据网格(Data Mesh)实施

数据网格(Data Mesh)是近年来兴起的一种新型数据架构范式,旨在解决传统集中式数据架构在大规模、多领域数据环境中的局限性。系统性地介绍数据网格的概念和原理详细分析数据网格的核心架构组件提供可落地的实施方法和实践指导探讨数据网格在实际应用中的挑战和解决方案本文的范围涵盖从理论概念到工程实践的完整知识体系,特别关注在大数据环境中的实施细节。首先介绍数据网格的概念背景和核心原则然后深入分析其架构模式和关键技术接着提供具体的实施指南和代码示例最后讨论实际应用和未来趋势。

AI大模型应用之禅 450

51、数据网格虚拟化服务解析

本文详细解析了数据网格的功能特性,包括逻辑命名空间管理、副本创建与数据访问、访问API与架构等内容,并探讨了信息集成的需求与挑战。文章比较了数据仓库、数据库集成和应用集成三种主要的信息集成方法,分析了各自的优缺点及适用场景。同时,针对语义数据集成与复杂场景,文章提出了水平集成与垂直集成的解决方案,并展望了未来发展趋势,包括技术融合、智能化集成、标准统一和行业应用拓展。

lstm7chronicler的博客 52

数据虚拟化加持数据网格:打破数据孤岛,实现跨域一致性的数据治理

尽管数据网格带来了去中心化的好处,但也带来了新的挑战,例如:如何避免数据孤岛的出现,如何防止跨域的重复劳动,以及如何保证全局的一致性和治理。Denodo平台作为数据虚拟化领域的领导者,能够提供统一的、受治理的数据访问层,完美契合数据网格的实施需求。但即便如此,这些数据产品依然可以通过Denodo的虚拟数据层进行统一访问,从而实现一致性治理,并提供额外的功能,如语义层构建、数据目录和多技术接口的数据访问。通过数据虚拟化,打破数据孤岛,实现更高效的数据治理与利用,是未来数据管理的必然趋势。

Denodo的博客 1172

Ubuntu图形界面崩溃?从tty到GUI的终极修复指南

本文提供了Ubuntu图形界面崩溃后进入tty的终极修复指南。详细介绍了如何诊断显示管理器(如LightDM或GDM3)状态,并通过重装、切换显示管理器、修复依赖、系统升级及排查显卡驱动等核心方案,逐步恢复GUI。帮助用户从命令行界面高效修复桌面环境,避免数据丢失。

vulkan6gpu的博客 778

数据编织与数据网格的对比与协同

本文重点讲述数据编织和数据网格的对比和协同。

weixin_47253479的博客 842

超详细neo4j安装教程

一、neo4j简介 最近开始学习知识图谱,所以首先想先学习一下neo4j的使用。 Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。由于知识图谱中存在大量的关系型信息(实体—关系—实体), 使用结构化数据库进行存储将产生大量的冗余存储信息, 因此将图数据库作为知识图谱的存储容器成为流行的选择。当前较为常用的图数据库主要有 Neo4j 等。 二、neo4j的安装 功能快捷键 撤销:Ctrl/Command + Z 重做:Ctrl/Command + Y 加粗:Ctrl/Co

qq_38335648的博客 9万+

从硬件到软件:TSMaster报文过滤全链路配置指南(含同星设备适配)

本文详细介绍了TSMaster平台下CAN/LIN/FlexRay总线的报文过滤全链路配置指南,特别针对同星TC1016等硬件的兼容性进行实战演示。从硬件层预过滤到软件层可编程过滤,提供五维过滤体系构建方法,帮助工程师提升车载诊断与总线分析效率。重点解析混合总线过滤策略优化及诊断场景下的特殊过滤方案。

tensorflowjs6的博客 403

10 个纤细的数据网格:为您的项目选择合适的数据网格

数据网格是以表格形式管理结构化数据的强大工具。这就是为什么它们是具有大型数据集的 Web 应用程序的完美选择,这些数据集需要有效组织、显示和操作。有 lоts оt оf 现成的数据网格库是用JavaScript编写的 оr pоpular frоntend framewоrks.但是,什么 abоut Svelte?它值得 sоme gооd 质量的网格 cоmpоnents fоr 显示和...

795

ESP32与INMP441麦克风模块实现音频传输

ESP32是一款低成本、低功耗的物联网开发板,支持Wi-Fi和蓝牙双模通信,内置双核处理器,适合音频处理和实时数据传输。INMP441是一款高性能数字麦克风模块,支持I2S接口,可提供高精度音频数据采集(24-bit分辨率,64-100 dB SNR)。

走向CTO的路上... 2046
上一篇: 安森美推出新的高功率图腾柱PFC控制器,满足具挑战的能效标准
下一篇: 安森美公布2021年代理商伙伴奖获奖者
白恍然
博客等级 码龄6年 2粉丝 2原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值