
数据中台
文章平均质量分 87
数据中台实战过程的笔记
码农丁丁
码农知识的搬运工,作为工作20年的码农,分享自己实践或看到的知识
展开
-
Zachman企业架构简介
Zachman框架是由John Zachman在1987年提出的,它是一个用于对企业的管理重要的设计工件进行分类和组织的逻辑结构。这个框架提供了一种从不同角度查看企业及其信息系统并显示企业组件之间如何关联的方式。原创 2024-12-25 09:16:22 · 830 阅读 · 0 评论 -
TOGAF框架如何帮助企业进行数字化转型
TOGAF(The Open Group Architecture Framework)是一个广泛使用的企业架构框架,旨在帮助组织设计、规划、实施和治理企业架构。它由The Open Group开发和维护,提供了一套标准化的方法和工具,帮助企业在信息技术和业务战略之间建立有效的对齐。原创 2024-12-24 17:27:41 · 2042 阅读 · 0 评论 -
什么是TOGAF
TOGAF是由国际开放标准组织于1995年开发的,以美国国防部的“信息管理技术架构框架(TAFIM)”和凯捷的Integrated Architecture Framework(IAF)。开放组体系结构框架(英语:The Open Group Architecture Framework,缩写:TOGAF)是一个企业架构框架,它提供了一种设计,规划,实施和管理企业信息技术架构的方法。它提供了一套完整的方法和工具,包括架构开发方法(ADM)和一系列的技术参考模型。TOGAF 强调架构的可复用性和一致性。原创 2024-07-30 13:00:59 · 1782 阅读 · 0 评论 -
数据中台学习和实战系列文章
【华为数据之道学习笔记】3-7 报告数据治理-优快云博客【华为数据之道学习笔记】3-6 观测数据-优快云博客 【华为数据之道学习笔记】3-4主数据治理-优快云博客【华为数据之道学习笔记】3-2 基础数据治理-优快云博客【华为数据之道学习笔记】3-1 基于数据特性的分类管理框架-优快云博客【华为数据之道学习笔记】2-建立企业级数据综合治理体系-优快云博客【华为数据之道学习笔记】非数字原生企业的特点-优快云博客【数字化转型方法论读书笔记】选型数据中台的几大建议-优快云博客【数字化转型方法论读书笔原创 2023-12-05 17:18:19 · 1577 阅读 · 0 评论 -
【数据中台】开源项目(5)-Amoro
Amoro定位是一个搭建在 Apache Iceberg之上的流式湖仓服务,流式强调向实时能力的拓展,服务则强调管理、标准化度量,以及其他可以抽象到基础软件中的湖仓一体能力。原创 2023-12-02 18:23:23 · 763 阅读 · 0 评论 -
【数据中台】开源项目(4)-BitSail
BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎, 支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案.原创 2023-12-02 18:06:31 · 968 阅读 · 0 评论 -
【数据中台】开源项目(3)-Linkis
Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎,同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通,以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。 作为计算中间件,Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过将应用层和引擎层解耦,简化了复杂的网络调原创 2023-12-02 17:41:34 · 729 阅读 · 0 评论 -
【数据中台】开源项目(3)-DataSphere Studio
DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计,及计算中间件,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。DSS 通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换 DSS 已集成的各种功能组件,或新增功能组件。原创 2023-12-02 17:35:56 · 2046 阅读 · 0 评论 -
【数字化转型方法论读书笔记】选型数据中台的几大建议
企业数字化转型离不开企业数字化技术的配备。但企业在选择数字化技术时也面临着一个问题,就是如何在大胆采用先进的数字化技术和对技术进行投资之间找到平衡,将投资风险降到最低,毕竟错误的技术选型会给企业带来不可估量的损失。熟悉先进数字化技术的发展趋势,并将其与业务实践相结合,是企业数字化转型团队必须要具备的能力。CTO/CIO作为企业数字化转型过程中把握总体技术方向的工程师,需要正确选择数字化技术,搭建符合企业发展的数据中台架构,帮助企业顺利完成转型。原创 2023-11-28 10:41:16 · 161 阅读 · 0 评论 -
【数字化转型方法论读书笔记】-数据中台选型示例
CTO/CIO可以借鉴以下数据中台选型示例,企业选购合适的数据中台。原创 2023-11-28 10:40:28 · 1078 阅读 · 0 评论 -
【数据中台】开源项目(2)-Dbus系统架构
大体来说,Dbus支持两类数据源:RDBMS数据源日志类数据源。原创 2023-11-26 22:42:08 · 1561 阅读 · 0 评论 -
【数据中台】开源项目(2)-Davinci可视应用平台
社交智能能力指共享优秀的数据可视化思想,激发用户对数据可视化表达能力和艺术美感的追求,同时也使 Davinci 更加智能的引导和提高用户的数据可视化能力。自由布局的 Display(大屏),适用于一些特定的、需要添加额外修饰元素的、长时间查看的场景,通常配置这类场景需要花一定的时间和精力,如“双11”大屏。一次配置即可实现可视组件高级过滤、高级控制、联动、钻取、下载、分享等,帮助业务人员快速完成对比、地理分析、分布、趋势以及聚类等分析和决策。支持大屏、PC、Pad、手机移动端等多屏自适应。原创 2023-11-27 11:31:17 · 935 阅读 · 0 评论 -
【数据中台】开源项目(2)-Wormhole流式处理平台
Wormhole 是一个一站式流式处理云平台解决方案(SPaaS - Stream Processing as a Service)。Wormhole 面向大数据流式处理项目的开发管理运维人员,致力于提供统一抽象的概念体系,直观可视化的操作界面,简单流畅的配置管理流程,基于 SQL 即可完成的业务逻辑开发方式,并且屏蔽了流式处理的底层技术细节,极大的降低了数据项目管理运维门槛,使得大数据流式处理项目的开发管理运维变得更加轻量敏捷可控可靠。原创 2023-11-26 22:47:52 · 853 阅读 · 0 评论 -
【数据中台】开源项目(2)-Dbus数据总线
DBus 数据总线专注于数据的收集及实时数据流计算,通过简单灵活的配置,以无侵入的方式对源端数据进行采集,采用高可用的流式计算框架,对公司各个IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数据使用方订阅和消费,充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。支持多租户管理,提供租户级资源、数据隔离机制。原创 2023-11-26 22:38:33 · 1490 阅读 · 0 评论 -
【数字化转型方法论读书笔记】-数据中台角色解读
一千个读者,就有一千个哈姆雷特。同样,数据中台对于企业内部不同角色的价值也不同,下面分别从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师这 5 个角色的视角详细解读数据中台。原创 2023-11-23 13:03:24 · 308 阅读 · 0 评论 -
【数字化转型方法论读书笔记】-数据中台五要素
在企业数字化转型过程中,对数据的共同理解与解释至关重要。数据质量问题通常是指同一数据集被解释为不同事物,或者不同数据集被解释为相同事物。无论是业务还是技术元数据,根据业务属性明确数据定义对于提高数据质量相当重要。企业可令数据治理团队运用一定的数据管理应用程序完成业务规则的梳理和数据定义的统一。原创 2023-11-23 13:41:43 · 142 阅读 · 0 评论 -
【数据中台】开源项目(1)-LarkMidTable
LarkMidTable 是一站式开源的数据中台,实现中台的 基础建设,数据治理,数据开发,监控告警,数据服务,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。满足许多的小企业,提供一站式的解决方案。做出世界级别,能够媲美BAT大厂的产品。创造价值,产生价值,让世界变得更加美好。原创 2023-11-26 22:35:40 · 2167 阅读 · 0 评论 -
【数字化转型方法论读书笔记】-数据中台落地实施之法
让数据中台真正落地是实现数字化转型的重中之重。企业做好数据治理、体系建设及人才配备等前期工作后,接下来要做的是数据中台实施落地的关键。企业首先要掌握数据中台建设的三大核心要素:选对数据建设方式、厘清建设思路、避开数据中台建设误区,最终低成本实现数字化转型。原创 2023-11-27 13:25:39 · 183 阅读 · 0 评论 -
【数据中台】开源项目(2)-Moonbox计算服务平台
Moonbox是一个DVtaaS(Data Virtualization as a Service)平台解决方案。Moonbox基于数据虚拟化设计思想,致力于提供批量计算服务解决方案。Moonbox负责屏蔽底层数据源的物理和使用细节,为用户带来虚拟数据库般使用体验,用户只需通过统一SQL语言,即可透明实现跨异构数据系统混算和写出。此外Moonbox还提供数据服务、数据管理、数据工具、数据开发等基础支持,可支撑更加敏捷和灵活的数据应用架构和逻辑数仓实践。原创 2023-11-26 22:55:34 · 908 阅读 · 0 评论