小木谈数
数据记录人生,数据转动生活,数据影响一切!
展开
-
《华为数据之道》读书笔记六---面向自助消费的数据服务建设
虽然通过数据治理达到了“数据清洁”的目标,也能够实现一定程度的经营和运营数据的可视化,但仍存在机关开发永远满足不了业务部门需求的问题,尤其是不同国家的业务场景各有差异,机关开发无法满足根据业务场景进行灵活运营的目的,机关开发往往疲于奔命,而业务部门满意度仍然不高。数据服务是整个数字化消费的关键,也是业务数字化运营的重要基础。通过数字化手段,在获取业务运营数据的同时,可以根据实际场景差异,灵活配置各种规则类数据,通过分析平台的规则引擎,帮助业务提前感知业务问题、自动预警潜在风险,从而有效支撑业务的快速响应。原创 2024-07-25 10:20:29 · 993 阅读 · 0 评论 -
《华为数据之道》读书笔记六---面向自助消费的数据服务建设
备注说明]很多企业当前数据分析应用还处于保姆级模式,业务部门把需求提给信息化部门,信息化部门从需求分析、方案设计、开发实施、数据核对测试、应用发布等所有工作都是信息化部门来实现,搞的信息化部门特别的累,而且工作过程中四于不懂业务往往设计的东东和业务需要的是两张皮,导致开发设计工作要经历反反复复的沟通,开发时间很长,造成业务抱怨信息化需求开发落地时间周期长,无法及时响应需求。租户是指把数据、分析工具、计算资源有机组合的工作环境,用户可以在租户内自助完成数据搜索、数据加工、在线分析、报表共享等工作。原创 2024-07-25 09:05:10 · 595 阅读 · 0 评论 -
《华为数据之道》读书笔记六---面向自助消费的数据服务建设
【备注说明】SLA往往会成为压倒企业数据应用推广的最后一颗稻草,企业通过BI项目建设了一堆应用,把业务部门的数据分析应用需求都调动起来了,业务提了很多需求上来,但由于企业没有专门的数据应用开发团队,基于上依赖于供应商进行开发,所以每次有新的需求开发都要找供应商进行商务洽谈,耗费了大量的时间,完全超出了当初对于业务部门的承诺,导致业务部门的大量需求无法满足,让业务的积极性耗尽,最终导致数据应用无法在企业内有效推广。供应/消费数据服务:应用组件间传递的是基于数据服务契约的消息,即传递对数据进行逻辑操作的结果。原创 2024-07-22 17:24:30 · 932 阅读 · 0 评论 -
《华为数据之道》读书笔记六---面向自助消费的数据服务建设
企业需要建立相关的数据服务平台来承接企业的需求,一般来说,企业内部的数据服务包含两种,一种是数据共享服务,主要是企业内部跨组织的数据共享。对于数据消费者而言,不用再关心“我要的数据在哪里”,例如用户不需要知道这些数据来自哪个系统、哪个数据库、哪个物理表,只需要清楚自身的数据需求,就能找到对应的数据服务,进而获取数据。通过服务获取数据的方式类似于“阅后即焚”,大部分情况下数据并不会在使用方的系统中落地,因此减少了数据“搬家”,而一旦数据的使用方并不拥有数据,就减少了向下游二次传递所造成的数据不一致问题。原创 2024-07-20 16:46:58 · 947 阅读 · 0 评论 -
《华为数据之道》读书笔记五----面向联接共享的数据底座建设
【备注说明】指标是企业数据应用的最典型场景,很多企业为了进行指标应用建设,都专门启动的BI项目,对于企业来说,一般指标分为企业运营管理指标和部门运营指标,企业需要建立合理的指标体系,一般采用OSM(目标策略度量模型),是指标体系设计工具。O:Objective,业务战略目标,S: Strategy,业务策略,M:Measurement 度量).当前,企业进行BI建设一般有两种工作思路,一种是自上往下,从业务需求指标出发,把逻辑理清,做数据入湖,当然入的只有指标涉及的业务表,完成指标的开发。原创 2024-07-12 08:29:40 · 926 阅读 · 0 评论 -
《华为数据之道》读书笔记五----面向联接共享的数据底座建设
【备注说明】业务、数据代表、IT代表,数据Owner 这几类数据入湖中的角色一定要搞清楚,一般在企业里面,数据入湖是由需求驱动的,比如驾驶舱指标驱动,这种情况下,业务是数据入湖的提出者,业务需要将指标的业务逻辑与数据代表传递清楚,数据代表是指理解信息系统数据的人员,一般在企业里面是指信息化相应信息系统的负责人,也就是应用架构师角色。相较于结构化数据,非结构化数据更难以标准化和理解,因而非结构化数据的管理不仅包括文件本身,而且包括对文件的描述属性,也就是非结构化的元数据信息。原创 2024-07-09 14:39:24 · 1054 阅读 · 0 评论 -
《华为数据之道》读书笔记五----面向联接共享的数据底座建设
【备注说明】数据密级是数据入湖和后序数据共享的重要依据,按照华为的理论,绝密数据是不建议入湖的。【备注说明】这块其实指的是ODS元数据在数据资产平台上的注册过程,一般来说,对于ODS的数据(业务信息系统的数据)直接创建物理表,但是要保证的是物理表的元数据在数据资产平台也能进行管控住,否则无法形成后续完整的血缘影响关系图。数据质量是数据消费结果的保证,数据入湖不需要对数据进行清洗,但需要对数据质量进行评估,数据Owner和数据管家可以根据数据质量评估的情况,推动源头数据质量的提升,满足数据质量的消费要求。原创 2024-07-09 09:11:23 · 1158 阅读 · 0 评论 -
《华为数据之道》读书笔记四----面向业务交易的信息架构建设
【备注说明】华为帮各企业给出了业务对象的识别原则,但是各企业还是需要针对企业自己的实际进行参考评估,一般来说在企业内部的业务对象识别有两条线,一条是正向线,由业务流程来梳理业务对象,一般流程中的输入输出物就是业务对象的参考。逻辑数据实体本质上是对描述业务对象的众多属性的归类,业务对象无法直接指导IT系统的物理实现,也无法基于业务对象来审视物理设计是否满足业务需求,因此需要通过逻辑数据实体及相应的逻辑数据模型来指导IT系统层面的数据设计。4)提供数据服务或跨业务领域使用的基础数据,要单独设计逻辑数据实体。原创 2024-07-03 10:24:49 · 1151 阅读 · 0 评论 -
《华为数据之道》读书笔记四----面向业务交易的信息架构建设
【备注说明】这里的标准其实指的是元数据标准。数据标准工作在企业内部是最难开展的工作,往往存在“跑断腿、磨破嘴”但都无法达成让各业务方满意的数据标准,这块主要还是在企业高层的意识方面,数据标准的制定必须在企业内部由高层代队,必须重视对于企业数据治理的重要性。【备注说明】企业数据资产目录特别重要,是企业数据资产的组织方式 ,是企业内部对外数据资产展现的重要目录结构,所以企业必须针对数据资产目录制定相应的流程管理规范,包括维护的流程(角色、审核流)、维护的平台(资产编码管控、内容管控)、管理的职责分工。原创 2024-07-03 09:28:27 · 1218 阅读 · 0 评论 -
《华为数据之道》读书笔记三--元数据管理
其实简单的来说,元数据是用来对数据进行描述的,通过元数据我们可以清楚的知道数据的结构,数据的描述,数据的用途,所以元数据是我们了解数据最有效的工具。【备注说明】:企业应该按照上面的说明进行元数据的管理,需要有支持功能的数据治理平台,同时 ,特别是 元数据注册这块,特别重要,很多人读了没有理解这块到底讲的什么,这其实讲的是数据资产目录中逻辑数据实体的设计原则,在企业进行数据资产化的过程中,如何设计数据资产,这块很重要,特别是数据资产的元数据设计,需要重点参考此章。解决方案:识别主物理表和扩展物理表。原创 2024-06-25 20:59:01 · 1316 阅读 · 0 评论 -
《华为数据之道》读书笔记三:差异化的企业数据分类管理框架
【备注说明】:主数据的治理是企业内部首当其冲要治理的对象,主数据的治理难点是要做好管理和集成的平衡,对于每一类主数据到底要管哪些属性字段,是否要完全参考主数据的三个特点(共享性、稳定性、唯一性)来进行决策,这个要重点考虑,管的少了做集成的时候比较费尽,下游很多系统可能不会从主数据平台集成数据,管理的多了把一些不属于主数据也纳入进来进行管理就超出了主数据的管理范围。同时在企业数据湖的建设过程中完成事务数据和观测数据的入湖,通过后端数据质量报告来推动这两种数据质量的改进,特别是事务数据。原创 2024-06-24 14:18:47 · 1118 阅读 · 0 评论