超级会员免费看
本文介绍了数据中台建设的关键组成部分，包括数据联邦技术，如Transwarp Inceptor中的Stargate，用于整合不同数据源并提供统一访问；数据总线利用Kafka实现数据订阅、发布和高吞吐传输；以及数据服务，强调与主流ETL、可视化工具和数据分析平台的集成，提供高效的数据处理和分析能力。数据管理层建设中讨论了数据分区、多温度管理和分布式数据仓库的概念，以优化存储和查询性能。
本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除。
部分资料内容：
1.1.1.1. 数据联邦
虚拟数据库(Virtual Database–VDB) 是将一个或多个物理数据源组合起来以提供更简单的数据集成解决方案，它提供了包含组件的容器，这些组件用来集成不同数据源的数据，并通过一致的 API 来访问它们，这些物理数据源包括： JDBC数据源、CSV 文本文件、数据表，甚至可以是 Web services。
这种技术被称为是“数据联邦” -Data federation。数据联邦技术提供了一种为数据提供抽象的数据接口的能力。这些多个数据源组成的虚拟视图可以使数据消费者（应用）不需要知道数据的物理位置、数据结构和保存方式。
对于采集到的数据因为存放位置不同可能引起的“数据孤岛”问题，Transwarp Inceptor中引入了数据源连接器Stargate，提供数据联邦功能。Stargate是连接执行引擎和各种数据源的连接器，可以将多种不同数据源的数据接入引擎做实时的统计分析，而无需事先将数据导入HDFS，从而更加方便用户的业务构建多样化需求。
Inceptor通过Stargate以及各个存储引擎/格式已经实现的驱动Driver，支持接入分布式内存列式存储Holodesk、分布式搜索引擎Search、分布式NoSQL数据库Hyperbase、列式存
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
