数据中台建设(二):数据中台简单介绍

你与顶级架构师的差距,可能就在这个数据中台解决方案 数据中台架构设计 阅读详情

数据中台简单介绍

一、什么是数据中台

2014 年马云正式提出“DT(Data Technology)”的概念,人类从 IT 时代走向 DT 时代,阿里内部的数据平台事业部大刀阔斧的建立整个集团的数据资产,同年,阿里从芬兰 Supercell 公司接触到中台概念后,在集团内部积极践行,开创了“大中台、小前台”的组织机制和业务机制,通过高效、统一的后方系统来支撑快速变化的前端业务,提高业务产出效率,减少成本投入。

2018 年中台概念开始深入互联网公司,2019 年数据中台概念大火。之所以现在推崇数据中台的建设原因是数据中台确实给小前台提供了强有力的数据支持,实现了对需求快速响应,另一个重要的原因是数据中台已经在阿里体现了巨大的商业价值和应用价值。

1.1、数据中台概念

数据中台是一套可持续“让企业的数据用起来”的机制,通过有形的产品和实施方法论,构建一套持续不断把数据变成资产并服务于业务的机制,数据来自于业务,并反哺业务,不断循环迭代,实现数据数据可见、可用、可运营,通过数据中台把数据变成一种服务能力,其目标是提供普惠的数据服务。

关于数据中台有以下几个功能特点:

1)数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。

2)数据中台的核心就是实现公共计算逻辑下沉,实现数据复用,提供给接口使用。

3)数据中台不是某一个单一的产品或者某个技术。本质上讲数据中台就是从数据中发现价值,赋能业务数据管理机制。

如果我们把数据比喻成血液,那么数据中台就是心脏和毛细血管,构建中台可以能让数据价值渗透到各个业务场景中去。

4)数据中台最核心的理念就是“OneData OneService”

“oneData”指的是对于企业数据我们需要按照主题和分层方式进行管理、统一表及指标的命名规范,保证数据完整性及复用性,全企业数据只有这一份统一管理的数据。

“oneService”指的是业务使用的所有数据来源于数据中台,数据中台提供统一的数据服务功能,屏蔽底层数据存储,做到接口复用,减少不规范的烟囱式的接口开发。

构建数据中台时需要企业从战略、组织、人才方面全方位规划配合,而不仅仅停留在工具和产品层面,所以在一些大互联公司在宣布中台战略时,会伴随组织架构调整,例如:合并数据处理部门,合并业务部门等等。

1.2、数据中台类比案例

为了方便理解中台概念我们举个例子:

每个人家里厨房都有油、盐、糖、酱油、醋、料酒、生抽很多调料,这些调料相当于数据,你相当于业务部门,特别喜欢吃糖醋鱼、糖醋排骨、糖醋猪蹄、糖醋里脊,以上食物成品相当于各种业务应用。你家里老妈做饭,相当于 IT 部门,她觉得每天都按照比例调制糖醋汁很麻烦非常浪费时间,每次调制的味道还不同,于是你老妈决定按照一定的比例(1 酱油+2 料酒+3 醋+4 生抽+5 盐,这个比例就相当于数据处理及数据算法)来调制一大桶糖醋汁(相当于数据产品),以后每天倒一点点糖醋汁就可以做出一盘糖醋菜(业务应用), 这个调制糖醋汁以及使用糖醋汁做出一盘糖醋菜的这个过程就相当于构建了一个数据中台。如果你家十天半个月才吃一次糖醋菜,频率很低(相当于某个业务应用很低),就没有必要调制一大桶糖醋汁放在那儿(没必要构建中台)。

所以在构建数据中台之前首先看一看有没有数据产品的需求,有多少人使用这个数据产品产生的业务结果,使用的需求量大不大?以及使用这个数据产品业务结果的频率高不高?如果以上都合理就可以规划构建数据中台。

数据中台的核心理念就在于数据取之于业务,用之于业务,它相对于数据平台注重的是对业务的积累和沉淀,构建了从数据生产到消费,消费后产生的数据再回流到生产流程的闭环过程。

二、前、中、后台概念

2.1、前台概念

由各类前台系统组成的前端平台,每个前台系统都是用户的一个触点,即企业的最终用户直接使用或交互的系统,是企业与最终用户的交点。例如用户直接使用的网站、手机 app、微信公众号、企业看板等都是前台范畴。小前台一般都是敏捷前台,强调敏捷交互及稳定交付的组织能力建设,对于阿里来说,小前台就是各个业务部门。

2.2、中台概念

中台的设置是为了提炼各个业务线的共性需求,并将这些打造成组件化的资源包,然后以接口的形式提供给前台各业务部门使用,可以使产品在更新迭代、创新拓展的过程中研发更灵活、业务更敏捷、最大限度地减少“重复造轮子”的 KPI 项目。中台是一种经营理念,是一种组织形式,是“平台思维”的自然演进。

中台又包含业务中台、技术中台、数据中台。

业务中台

业务中台更多偏向于业务流程管控,将业务流程中共性的服务抽象出来,形成通用的服务能力。

比如电商平台,有 C2C、B2C、C2B、B2B 四种模式,其中订单、交易、商品管理,购物车模块、短信中心,用户中心、支付中心、交易中心、搜索服务都是有共性的,将这些组件沉淀出来,形成电商行业的业务中台,再基于这些业务中台组件的服务能力,可以快速搭建前台应用,譬如:C2C 模式的淘宝、B2C 模式的天猫、B2B 模式的 1688、C2B 模式的聚划算,用户通过这些前台业务触点使用业务服务,业务中台不直接面向终端用户,但可以极大提升构建面向终端用户的前台的速度和效率。

技术中台

主要负责基础服务、基础组件、基础平台、存储体系、云平台、运维相关等技术支撑。

数据中台

业务中台是抽象业务流程的共性形成通用业务服务能力,而数据中台则是抽象数据能力的共性形成通用的数据服务能力。

例如:原始业务数据通过资产化、服务化,形成用户画像服务,这个服务可用于电商平台的商品推荐,也可以用于地产购房意愿,还可以用于金融领域的信用评级等。同一个服务在应用层面展现的内容可能不一致,但是底层的数据体系是一致的。

2.3、后台概念

由后台系统组成的后端平台,每个后台系统一般管理了企业的一类核心资源,例如:财务系统、产品系统、客户管理系统、仓库物流管理系统等,这类系统构成了企业的后台,后台更多解决的是企业管理效率问题,为前中台提供数据支撑,而中台要解决的才是前台创新的问题。

三、数据中台与业务中台区别和联系

一个企业中可以同时拥有业务中台和数据中台,两者是相辅相成的。业务中台中沉淀的业务数据进入到数据中台进行体系化加工,再以服务化的方式支撑业务中台上的应用,而这些应用产生的新数据又流转到数据中台,形成循环不息的数据闭环。

在企业中构建数据中台与业务中台没有先后之分,根据企业实际情况进行规划建设。

从数据层面上来看,业务中台只是数据中台的数据源之一,除此之外,企业还有很多其他的数据来源,如:APP,小程序,IOT 等多源数据。

从服务层面上来说,数据中台的数据服务也不一定经过业务中台作用于业务,也可以直接被上层应用系统进行封装,如电商领域推荐系统。

中台不是平台,平台可以有很多,例如:营销平台、风控平台、管理平台,平台解决的是特定领域业务的问题,而中台解决的是全企业各个业务领域综合问题,一般一个企业只需要一个中台就可以,现在还有业务中台、数据中台之分,未来当数据与业务更加紧密集合,会统一形成“企业中台”。

四、数据中台与大数据平台关系

大数据平台更关心技术层面的事情,提供数据加工处理的能力,提供数据集成、数据开发、数据测试、任务上线等,针对的往往是技术人员。而数据中台的核心是数据服务能力,要结合场景,比如精准营销、风控等,通过服务直接赋能业务应用,数据中台不仅仅面向技术人员,更需要面向多个部门的业务人员。

如果把数据中台看成一个工厂,大数据平台就是工厂中的设备,为工厂运行提供加工处理数据能力,通过一系列的整合、加工、处理最终为客户提供有价值的数据结果和服务,当然,属于大数据平台的数据仓库也当属数据中台的重要组成部分。

数据仓库的主要场景实支持管理决策和业务分析,而数据中台则是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节,不限于决策分析类场景。例如:

所以数据时代带来的挑战不仅仅是数据量的爆发式增长,更重要的是如何管理好、治理好、利用好这些数据,显然传统的大数据平台建设方法论不能满足以上需求,数据中台应运而生

五、构建数据中台价值

构建数据中台价值如下:

5.1、提升数据应用能力

数据中台将海量数据转化为高质量的数据资产,为企业提供更深层的客户洞察,从而为客户提供更个性化和智能化的产品和服务。

5.2、打破数据应用屏障

在传统数据建设中,数据无法被业务使用,其中一个重要的原因是业务人员不够懂数据,导致数据应用到业务变得困难,数据分析人员不管业务,只是按部就班产出报表结果,以上情况导致数据分析结果不能很好地反哺到业务中,构建数据中台之后,数据分析人员将数据变成业务人员可阅读、易理解的内容,业务人员看到内容后很快可以将数据结合到业务中。

5.3、打破数据孤岛,盘活全量数据

数据中台构建将分散割裂的海量数据做到集成,打破数据孤岛的现状,同时降低使用数据服务的门槛,实现数据“越用越多”的价值闭环。

5.4、支持跨主题域访问数据

企业早期建设的应用数据层 ADS(传统数据仓库分为 ODS/DW/ADS)更多是为了某个主题域所服务,例如:营销域、人力资源域、风控域。而企业在数据应用到业务的时候往往需要打破各个主题,会从业务对象主体出发来考虑数据应用,如人(会员、供应商、渠道、员工)和物(商品、仓库、合同),从全域角度设计完整的面向对象的数据标签体系。

5.5、数据快速复用

传统的架构中,将分析后的数据应用到业务中,通常做法就是通过数据同步能力,把结果同步到业务系统中,由业务系统自行处理,这会带来数据管理问题,整个数据血缘链路是割裂的。数据中台可以很好的提供数据服务,业务系统只需要从数据服务中获取数据即可。

手把手教你搭建数据中台 数据的分层主要包括操作数据层(Operational Data Store,ODS)、维度数据层(Dimension,DIM)、明细数据层(Data Warehouse Detail,DWD)、汇总数据层(Data Warehouse Summary,DWS)和应用数据层(Application Data Store,ADS)等,通过分层建模可以令数据获得更高效、更科学的组织和存储。· 数据中台的大部分工作是开发数据指标,并能够识别出哪些指标是虚荣指标,哪些指标是可以促进增长的指标,后者显然比较重要。 阅读详情

相关推荐

数据中台一体机技术白皮书

数据作为新型生产要素,是数字化、网络化、智能化的基础,已快速融入生产、分配、流通、消费和社会服务管理等各个环节,深刻改变着生产方式、生活方式和社会治理方式。通过数字化转型以发挥数据要素对于企业的生产经营价值成为大多数企业的必然选择。数据中台承载着利用数据驱动业务决策所需的一系列能力,是众多企业建设数据能力、开展数字化转型时难以避开的话题,部分企业已经将其作为企业数字化转型的核心引擎。当前数据中台已成为企业综合数据能力建设的一种形式。

ccddtomato的专栏 2077

什么是数据中台?从哪些方面加深对数据中台的认知?需要理清些什么概念?数据中台的意义是什么?

数据中台概念自诞生以来持续保持行业热度,但是目前为止对于数据中台并没有统一、标准的定义。认为数据中台是云平台的一部分,同时包括业务中台和技术中台。认为数据中台是数据+技术+产品+组织的组合,是企业开展新型运营的一个中枢系统。认为数据中台可以理解为企业的最核心的数据大脑,是一种理念、一种思维,是一种面向未来的架构。认为数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合认为数据中台是“计算平台+算法模型+智能硬件”,不仅有云端,还需要智能设备帮企业在终端收集线下数。

qq_25409421的博客 1万+

数据中台【建设步骤】

1.组织规划 1.1 制定战略规划 1.2 完善组织结构 1.3 建立制度体系 1.4 设置审计机制 1.5 进行培训宣贯 2.现状梳理 2.1 组织现状 2.2 业务现状 2.3 技术现状 2.4 数据资源现状 2.4.1 数据资源的分类 2.4.2 数据资源的梳理步骤 3.应用服务规划 3.1 数据应用规划 3.1.1 数据应用分类 3.1.2 数据应用规划步骤 3.1.3 数据应用评估模型 3.2 数据服务规划 3.2.1 数据服务分类 3.2.2 数据服务的核心价值 3.2.3 数据服务类型

程序员学习圈 6731

数据中台是什么?:架构演进、业务整合、方向演进

数据中台(Data Middle Platform)是指在企业数据治理和数据应用层面建立的一套统一数据管理、共享与服务的体系。其核心在于将企业内部各业务系统产生的数据进行整合、清洗、建模及标准化处理,形成统一的数据服务层,进而支持上层的业务决策、数据分析及应用创新。数据中台作为企业数字化转型的核心战略之一,通过构建统一的数据治理体系和数据服务平台,不仅解决了数据孤岛问题,更推动了业务协同与创新应用。企业在落地数据中台时,需注重技术与治理的平衡,结合实际业务需求进行定制化设计。

开源AI 专属 UI——papyrai-ui。《千界明彻录》(故事形式构建元思维)——胡说小说。更多思辨内容在公众号。 1万+

数据中台:宜信敏捷数据中台建设实践|分享实录

内容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾:宜信数据中台平台团队负责人 卢山巍 导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等,在技术社区内得到了广泛关注和好评。这些工具是如何在宜信内部应用的?它们和宜信数据中台是怎样的关系?又是如何驱动各种日常数据业务场景的? 本次分享对这些问...

gao2175的博客 4515

企业数据中台整体介绍及建设方案:文件全文51页,附下载

数据中台建设的核心是平台化建设。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势所在。数据中台是一套可持续让企业的数据用起来的机制,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建一套把数据变成资产并服务于业务的机制。企业应该建立部门间协调机制,尤其是需要技术和业务部门间密切协作,充分发挥各部门的优势,建立统一的数据标准和流程,从而保证数据的质量和准确性,提高数据资产的价值。

byte58的博客 1509

数据中台建设(规划篇)

一 什么是数据中台 1.1 数据中台的定义 数据中台不是数据平台,数据中台是处于业务前台和技术后台的中间层,是对业务提供的数据能力的抽象和共享的过程, 数据中台通过将企业的数据变成数据资产,并提供数据能力组件和运行机制,形成聚合数据接入、集成、清洗加工、建模处理、挖掘分析,并以共享服务的方式将数据提供给业务端使用,从而与业务产生联动,而后结合业务系统的数据生产能力,最终构建数据生产>消费>再生的闭环,通过这样持续使用数据、产生智能、反哺业务从而实现数据变现的系统和机制。

cdfunlove的博客 4734

企业数据中台建设思路

企业数据中台建设思路

从知识输入到知识输出 2376

企业数据中台整体介绍及建设方案

基于分布式技术,解决企业数据 “存、通、用” 难题的智能解决方案,通过等核心能力,实现数据资产可视化、业务场景智能化,支撑精准营销、智能决策等应用。其建设遵循 “整体规划、分布实施” 原则,涵盖七大步骤,配套工具包括数据开发套件、质量管控工具等。案例显示,数据中台可显著提升企业数据价值,如中金易云覆盖,实现图书推荐、库存优化等场景落地。

2501_91692628的博客 1606

数据中台建设(三):数据中台架构介绍

数据中台要求全企业共用一个数据技术平台、共建数据体系、共享数据服务能力。实际上一个企业中由于各个业务线发展不均衡,各自都有独立的数据处理架构,导致共享数据非常困难,所以要构建数据中台不仅是对技术架构的改变,同时还是对整个企业业务运转模式的改变,需要企业在组织架构和资源方面给予支持。数据中台是一个企业战略行动,绝非一个项目组或者一个小团队就能做的,需要了解整个企业的业务情况,对业务进行梳理,还需要技术支撑、组织的支撑,否则很难推行下去

Lansonli(蓝深李)的博客 5801

数仓(二):数仓构建流程、数据中台建设

一、业务调研 1、业务调研的方式 - 借助产品部门提供的资料对整个项目进行了解 - 去和产品部门直接沟通调研 两种方式有利有弊: 1)第一种方式由于我们对他们所做的项目不是很熟悉,所了解到的也没有那么全面,对于产品部门提供的一些文档所定义的一些用语不了解; 2)第二种方式则会避免那种情况,但我们也知道,产品部门也有自己的任务,不会总有时间去给你讲解业务上的东西,所以在去找他们之前,要*明确自己的目的*,带着问题去找他们,同时要*注意自己和他们交谈的语气*,因为我们是两个衔接比较密切的...

. 4790

《大数据大创新:阿里巴巴云上数据中台之道》:解密阿里数据中台建设

早在今年四月份,便开始看《大数据之路:阿里巴巴大数据实践》一书,再迅速过了邓中华老师这本《大数据大创新:阿里巴巴云上数据中台之道》,基本上可以窥见阿里数据中台的建设过程以及一些技术细节。其中宗华作为一位阿里老数据人的经验分享和心路历程,更是让我这个后辈受益匪浅。

云祁QI 4308

数据中台建设之路

随着企业数字化转型的加速,数据中台的概念逐已为大家所熟知,政企对数据中台的建设需求逐渐加大。数据中台是对既有/新建信息化系统业务与数据的沉淀,是实现数据赋能新业务、新应用的中间、支撑性平台。数据中台是在政企数字化转型过程中,对各业务单元业务与数据的沉淀,构建包括数据技术、数据治理数据运营等数据建设、管理、使用体系,实现数据赋能。数据中台,是新型信息化应用框架体系中的核心。然而,对于很多人来说,数据中台仍然是一个模糊的概念。

leyang0910的博客 1069

【数据中台】数据中台的建设方法与开发实践

2015年阿里在国内首次提出了中台概念,由阿里引领发展,迅速在互联网企业中形成了一股浪潮。在数字化转型的道路上,为了充分发挥数据价值,数据中台的理念也渐渐深入到各行各业中。数据中台,不是一套系统,同样也不是一个平台。它是一种企业的建设机制,植根企业特色,借助有形的产品和实施方法论,持续不断的整合数据、分析数据、挖掘数据价值。中台的构建不是一蹴而就的事情,今天我们就来简单聊一聊在数据中台中如何做数据开发。

qq_39172059的博客 3396

傻白入门芯片设计,SystemVerilog Assertion(SVA)学习(二十一)

对SVA(SystemVerilogt Assertion)有了更深刻的认识,对经典的AveMC形式验证工具进行了介绍

qq_46675545的博客 8470

教你读懂techpoint视频解码芯片tp2855规格书(第一部分)

所有的控制环都是可编程的,以实现最大化的灵活性。对于NTSC/PAL输入,输出时钟和采样结构是非标准的,以便在多路复用输出时与HD格式一同工作。所有通道的音频数据都可以选择性地级联,以实现最大的灵活性。TP2855是一款通用的高清/标清视频解码器芯片,其支持对HD-TVI、NTSC/PAL制式960H分辨率及普通AHD视频格式的解码。TP2855具有内部钳位,在每个通道上都有自动增益控制放大器,用于最佳的信号调节。即使在使用低质量和长线缆的条件下,它的可编程均衡放大器和自动控制环也能维持尚佳的表现。

hufan92的博客 4917

数据中台建设与应用_教你五步建设数据中台

数据中台是当下非常热门的话题,可以解决企业重复造轮子的问题。虽然数据中台在互联网企业中已经有了多年的实践,但是对于传统企业来说还是一个比较新的话题。数据中台的价值与建设的必要性数据中台是数据化建设的基础数据中台的第一个价值是解决了全域数据汇聚的问题,传统的数据仓库、数据中心,乃至数据湖都以解决这个问题作为核心目标。数据中台建设之所以从企业内的数据资源盘点做起,也是希望能够把这件事情做得更加完整和更...

weixin_39944542的博客 2028

PCIe Crosslink

PCIe Crosslink(交叉连接)是一种特殊的PCIe链路连接方式,允许两个PCIe设备(通常是Root Complex或Endpoint)是指两个PCIe设备(如两个CPU、两个FPGA或两个GPU)通过PCIe链路直接连接,形成点对点(P2P)通信通道。:两个Intel/AMD CPU通过PCIe Crosslink直接通信(替代UPI/Infinity Fabric)。:主板需提供PCIe Crosslink连接(如特定插槽支持x16/x8 Crosslink)。

zly8865372的博客 1636

数据中台-架构、构建与体系建设

数据中台要求全企业共用一个数据技术平台、共建数据体系、共享数据服务能力。实际上一个企业中由于各个业务线发展不均衡,各自都有独立的数据处理架构,导致共享数据非常困难,所以要构建数据中台不仅是对技术架构的改变,同时还是对整个企业业务运转模式的改变,需要企业在组织架构和资源方面给予支持。数据中台是一个企业战略行动,绝非一个项目组或者一个小团队就能做的,需要了解整个企业的业务情况,对业务进行梳理,还需要技术支撑、组织的支撑,否则很难推行下去。数据中台的建设内容包含技术体系、数据体系、服务体系、运营体系四大体系。技术

m0_46690280的博客 7513

创龙 瑞芯微 RK3588 国产工业开发板—Qt交叉编译环境搭建与GPU图形渲染实战

本文详细介绍了在创龙RK3588国产工业开发板上搭建Qt交叉编译环境并利用GPU进行图形渲染的完整实战流程。文章从环境准备入手,讲解了交叉编译工具链的配置,并提供了命令行与Qt Creator两种编译方法。通过部署运行和自启动设置,确保程序在板卡上稳定运行。最后,通过OpenGL案例实战,展示了如何调用RK3588的GPU进行高效图形渲染,释放其图形处理潜力,适用于工业HMI、智能终端等高要求图形界面开发。

weixin_28278377的博客 449

ConvNeXt 系列改进:二次创新 ConvNeXt:结合 RepVGG 结构重参数化,训练多分支、推理单路

2026年的视觉模型赛道呈现出一种有趣的“返璞归真”趋势——在Transformer狂飙数年之后,卷积网络正以全新的姿态回归。这其中,ConvNeXt无疑是纯卷积阵营中最耀眼的明星。从2022年Meta AI首次提出至今,ConvNeXt系列已经走过了近四年的演进之路,衍生出ConvNeXt V2、E-ConvNeXt等多个增强版本。ConvNeXt的7×7深度卷积带来了不错的感受野,却也埋下了推理效率的隐患。

ZXSXJ的博客 234
上一篇: 数据中台建设(二):数据中台简单介绍
下一篇: 数据中台建设(四):企业构建数据中台评估
wrr-cat
博客等级 码龄9年 128粉丝 302原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值