实现企业数字化转型,你只差一味药引子

实现企业数字化转型,你只差一味药引子

数据的权威性和重要性,伴随着时代的发展而来,已经不需要我们再论证了。

“去年,我们计划通过数据分析带来3千万美元的收入,到去年底,实时上我们做到了1.05亿美元” – Hilton CDO

“如果没有数据,那你顶多算是一个持有不同观点的人而已。我们相信上帝,除此之来,都请用数据说话” – W.Edwards Deming,质量管理之父。

“我们会收集所有数据,即使我们现在还不知道该怎么使用它!”-- 贝索斯,Amazon CEO

什么是数据民主化,为什么它很重要?

企业内,要实现数字化转型的话,塑造企业数据文化是当务之急。数据的民主化,就是为了让数据大众化,让所有用户都可以平等的接触和使用数据,如:

  • 财务分析、HR 人力资源分析、运营分析
  • 数据科学家进行的数据洞察

所谓”旧时王谢堂前燕,飞入寻常百姓家“。要实现数据民主化,必须极大的降低数据门槛,让本来只有IT专家可以做的事情,变的简单:让那些需要数据的人,都可以自助的发现、收集、并分析数据。

这是大数据最好的时代,这也是大数据最差的时代

多年摸爬滚打后,我们才逐渐认识到,基于事实的、数据驱动文化对一家公司是何等重要!

在这个基础上,数据在逐步的资产化,并在向货币化演进。这么一个不争的事实被认可了:

​ 随意丢弃过时的旧数据,曾经是多么错误的决定。

数据可以帮助我们发现反直觉的真相、找出生产链中低效的环节、发展潜在的商机。目前,数据已经是企业控制成本、提升利润,向精益运营转型的重要手段

大数据已经是大势所趋,不可逆转的潮流。然而,如何真正实现洪流落地、赋能商业,面临的挑战却也是前所未有的:

  • 数据安全与个人隐私如何解决?
  • 企业发展多年,数据孤立严重,如何找到并唤醒这些数据?
  • 打通数据孤岛后,部门之间利益如何重新平衡?
  • 企业内数据文化如何培养?

这些问题,个个都是致命的要害,任何一个,都可以让你的公司退变成数据荒漠。

一个数据公民的工作桌面

下图,是一个普通数据分析师或数据科学家的工具箱,和日常工作的一部分:

image-20191120122939108

从数据准备、数据建模、到数据训练各个环节,数据科学家们已经装备了十八般武器,从python到Tableau。

再看看数据科学家的日常是如何工作的:

image-20191120130055372

从数据流向的角度来看,科学家处在中下游,要想拿十八般兵器开练,还需要原料的支持,那就是数据。

而数据从生产系统生成、到采集、入湖、清洗、建仓,这些环节,都是数据科学家鞭长莫及的。

我们发现,数据科学家们欠缺的不是工具,而是数据,如何高效、方便、安全的获取数据,才是他们的痛中之痛

数据科学之殇

再精良的装备,也无奈糟糕的数据。我们在一丝不苟的做着数据分析和数据挖掘,若数据没有保障的话,又有谁敢说我们做的不是一件"garbage in garbage out"的事呢?

从数据这个角度出发,从数据查找、理解数据、到分析数据,每一步都像是在迷宫里探索,运气好,才能撞出去…

image-20191120133427537

如何破解数据科学之殇-数据迷宫呢?答案就是引入现代化的Data Catalog

image-20191120134135836

为什么需要现代化的Data Catalog

我们从数据分析师的例子讲开。从有想法、到数据验证的整个周期内,寻找合适数据、理解数据、信任数据、使用数据这四个环节的耗时分布大致如下:

image-20191120134358568

令人惊奇的是,这四个阶段上耗费的时间,呈漏斗状分布。我们仅用了几个小时去分析数据,但是却用了数天、甚至数周去寻找这些数据!这也从侧面印证了我们之前的论断:分析工具集已经不是数据公民们最薄弱的环节。

现代化的Data Catalog需要和其他数据工具一样,作为数据科学家工作桌面上的必备选项之一

为什么要强调是现代化的Data Catalog呢?主要还是从目标出发,传统的数据目录工具已经不少,但都无法很好的解决发现和理解数据的问题,因为:

  1. 传统Data Catalog是从管理的角度来归集数据的
  2. 传统Data Catalog的目标不是数据民主化,不是为了赋予从数据公民平等的使用权

现代化的Data Catalog则不同,主要是:

  1. 现代化的Data Catalog以人为中心,人才是数据资产的核心,治理数据的最终目的是理顺人与人之间的关系
  2. 从数据治理的角度,现代化的Data Catalog,认为数据是活的,数据之间的关系、数据与人之间的关系与数据本身同等重要,这是大数据的本质

image-20191120135728880

通过人-人、人-数据、人-知识、数据-数据之间的关系,可以把整个公司的数据资产构建成知识图谱。

通过关系,把数据、人、知识、之间的关系构建起来,它是数据资产间流通的血液,这个基于关系打造的图谱,就是现代化Data Catalog的核心引擎。

现代化的Data Catalog可以做什么?

新入职的员工

新入职的员工,急需了解公司的数据全貌和某领域细节,现代化的Data Catalog需要提供关联的专题导引:

image-20191120140317600


可快速与最合适的人交流

相信数据分析师们都不会反对这个结论:向懂的人请教一分钟,可以节省自己一整天的时间。关键是如何找到最懂的人?

image-20191120140839525

通过现代化Data Catalog的核心图谱引擎,我们可以还原出:

  • 是谁生产的这份数据,找到数据负责人
  • 都有哪些人使用过这份数据,是在什么时候,以及都是怎么用的,从而找到数据专家

然后,通过内置接口,当场唤起沟通工具进行交流:

  1. 问答社区,内容全员可见,方便全员协作
  2. IM,定向交流,可快速解决问题
  3. 知识库,查看专家留下的宝贵经验。知识库可以通过智能问答机器人提供更具引导性的建议。

别人对这份数据的态度

“随大流 不挨揍”, 话糙理不糙。在大数据时代,就不要做少数派啦…

在使用一份数据之前,看看是不是有其他人用过,以及反馈如何,是省时省力的方法。现代化的Data Catalog需要提供这方面的支持。

image-20191120141640820

我们可以通过反馈、备注、聊天记录、知识库、TAG、FLAG等不同方式,把用户在这份数据上的行为和体验沉淀下来,这就是这份数据的画像。

数据复用

有现成的,谁不用啊!在大数据领域更是如此,因为分析师们周而复始的、重复类似的数据需求,现代化的Data Catalog不仅需要支持经验的沉淀,更需要支持结果的直接复用!

image-20191120142023765

众包模式

独乐乐,不如众乐乐。数据负责人,就是有三头六臂,也没有办法完善所有的数据描述。现代化的Data Catalog需要引入众包模式,根据实际经验来完善数据描述、使用案例等。

image-20191120142359816

这个特性,是与传统Data Catalog理念明显不同之一。我们没有站在管理的角度,而是相信公民都是贡献者,强调了索取与奉献共存。

写在最后

值得留意的是,在企业数字化转型中,你的工具箱中,不缺少数据分析和加工的利器,即使缺少这类工具,你一眼就能识别出来。

但如果缺少合适的Data Catalog,它不但难以识破,而且会导致你迟迟走不到数据驱动的爆点。

看了这么多,还是不知道如何寻找找适合您企业的Data Catalog产品?

点击查看全滴滴都在用的Data Catalog

作者:张彦龙(公众号:数据老铁匠)

相关推荐

Kafka生产者的一个Bug会导致部分消息一直无法发送

Node-0 准备开始遍历它下面的几个队列中的ProducerBatch,遍历一次 则drainIndex+1,发现遍历了一个队列之后,就装满了这一批次的请求。因为发送一次的请求量是有限的(max.request.size), 所以一次可能只能发几个ProducerBatch. 那么这次发送了之后, 需要记录一下这里是遍历到了哪个Batch, 下次再次遍历的时候能够接着上一次遍历发送。那么开始遍历Node-1,这个时候则drainIndex=1,首先遍历到的是 第二个TopicPartition。

java06051515的博客 1980

NVIDIA A100 深度解密(一):GPU 峰值计算那些事

1、背景介绍2020 年 5 月 14日,NVIDIA 创始人兼首席执行官黄仁勋在自家厨房直播带货,哦不对应该是 NVIDIA GTC 2020 主题演讲中热情洋溢地介绍了新鲜出炉的基于最新 Ampere 架构的 NVIDIA A100 GPU,号称史上最豪华的烧烤。NVIDIA A100 Tensor Core GPU 基于最新的 Ampere 架构,其核心为基于台积电 7nm 工艺制造的 GA100,内有 542 亿晶体管,裸片尺寸为 826mm^2,而前代 GV100 裸片尺寸 815mm^2,

java06051515的博客 1858

免费测试|滴滴云开放基于NVIDIA A100的GPU裸金属服务器测试

免费测试|滴滴云开放基于NVIDIA A100的GPU裸金属服务器测试北京时间9月1日起,企业用户可申请测试滴滴云基于NVIDIA A100 GPU的裸金属服务器产品,有意向的企业用户扫描文末二维码,联系滴滴云同学申请测试吧~NVIDIA A100 GPU介绍NVIDIA A100融合了超540亿个晶体管,是目前全世界最大尺寸的7nm制程处理器,内有6912个CUDA核心、40GB运行内存,以及内存网络带宽达1.6TB/s,张量计算核心内容性能大幅度提高,TF32性能达156万亿次/秒,如果利用稀疏性

java06051515的博客 626

ceph-immmutable-object-cache

一、简介目前官方提供了ceph-immmutable-object-cache守护进程负责将内容缓存到本地缓存目录上。为了获得更好的性能,建议使用SSD作为底层存储介质。二、IO流程ceph-immmutable-object-cache守护进程启动进行初始化,并且时监听本地域套接字,并等待来自librbd客户端的连接。客户端librbd通过域套接字来连接缓存守护进程, 并且向缓存守护进...

java06051515的博客 384

GRPC连接池的设计与实现

前言在分布式高并发服务器中,client到server以及server中的多个节点之间的连接往往使用连接池来管理。简单来说就是将提前创建好的连接保存在池中,当有请求到来时,直接使用连接池中的连接对server端访问,省去了创建连接和销毁连接的开销(TCP建立连接时的三次握手和释放连接时的四次挥手),从而提高了性能。目录设计原则基本原理GRPC特性GRPC调优实现细则延伸阅读设...

java06051515的博客 4443

突破 0 和 1 的思维:量子计算介绍

突破 0 和 1 的思维:量子计算介绍1 什么是量子计算?量子计算是一种使用量子逻辑进行通用计算的方法,被普遍认为是一种更新型的计算机技术。在传统计算机中,信息量的基本单位是比特,它只能取 0 或 1 中的一个值。在量子计算机中,信息量的基本单位为量子比特或量子位。通过量子力学现象,这些量子位可以同步进行大量计算。理论上,利用量子力学现象,量子计算可以极大地改进信息存储和处理方式,算法比传统...

java06051515的博客 2350

Docsm——将你从频繁的文案修改中解救出来

Docsm——将你从频繁的文案修改中解救出来1 前言今天要和大家分享下最近我们开源的DocsM(Documents Management),对就是文案管理,一个帮助你如何解决静态文案管理的方案,感兴趣的小伙伴可以去github一探究竟。那么接下来就要给大家来个深度剖析了,看看我们到底是怎么做的。2 背景作为FE,我想大家都有一个共同的体验“在代码功能上线后,因为一两句文案或提示信息描述不准...

java06051515的博客 538

Kubernetes 是什么?

Kubernetes 是什么都9102年了,你再不了解 Kubernetes 就真的 out 了!!!(贩卖焦虑体kubernetes 是什么?Kubernetes 这个词来源于希腊语,有主管、舵手、船长的意思,我们从中能听到一丝管理的意味,从图标中也能看出来。在 kubernetes 的网站上,描述 kubernetes 是:生产级别的容器编排系统从这个定义我们可以提炼出三个关键字...

java06051515的博客 855

webpack 透视——提高工程化(实践篇)

wepack 透视——提高工程化(实践篇)webpack 是我们前端工程师必须掌握的一项技能,我们的日常开发已经离不开这个配置。关于这方面的文章已经很多,但还是想把自己的学习过程总结记录下来。上一篇文章介绍了webpack 构建原理,这篇文章将基于这个原理之上,讲述在我们实际工程配置中可以去优化的2 个方向。提升构建速度,也就是减少整个打包构建的时间,优化构建输出,也就是减小我们最终构建...

java06051515的博客 441

webpack 透视——提高工程化(原理篇)

wepack 透视——提高工程化(原理篇)webpack 是我们前端工程师必须掌握的一项技能,我们的日常开发已经离不开这个配置。关于这方面的文章已经很多,但还是想把自己的学习过程总结记录下来。一共两篇文章,分为原理篇和实践篇,从 webpack 构建原理开始,然后基于这个原理之上,明确我们实际工程配置中可以去优化的方向。构建原理篇,先帮助大家知道整体打包构建的流程,已经了解的可以略过这篇,...

java06051515的博客 348

如何1小时快速上手SQL?(小白篇)

如何1小时快速上手SQL?为了帮大家尽快实现学习Hive SQL、提数,在大数据领域大干一场的愿望,帮你准备好了数据,准备好了SQL样例,照着学,边学边练,主要是解决学一门新手艺起点高入手难的问题。这个自编的课程分成如下的几个部分,欢迎大家选读选练。特别说明准备环境两张示例表SQL示例简单select查询使用where语句按条件筛选使用distinct语句排重使用orde...

java06051515的博客 1022

前端演进思考

0. 从模型说起原生JS/jQuery 这时候开发者需要手动处理 Bind、Change 和 Update,jQuery 相比原生 JS,简化了操作,屏蔽了浏览器的兼容性。三大框架 这时候开发者只需处理 Bind 和 Change,框架自动完成 Update。框架使用一套高效的 diff 算法最小化更新 DOM,因此除了简化开发者工作,还带来了前端性能的提升。1. 组件思想除此之外,框架...

java06051515的博客 316

vue-ssr在项目中的实践

写在文前由于前端脚手架、打包工具、Node等版本的多样性,本文无法同时兼顾,文中所述皆基于以下技术栈进行。脚手架:vue-cli3打包工具:webpack4,集成在vue-cli3中,通过修改vue.config.js的方式进行配置Node框架:koa2简介​ 服务器端渲染,即采用“同构”的策略,在服务器端对一部分前端代码进行渲染,减少浏览器对页面的渲染量。通常服务器端渲染的优点和...

java06051515的博客 1809
上一篇: Kubernetes 是什么?
下一篇: Docsm——将你从频繁的文案修改中解救出来
「已注销」
「已注销」 企业官方账号 企业官方账号
博客等级 码龄7年 13粉丝 14原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值