世润
已取得数据治理工程师,具备大数据,人工智能,风控模型,java,数据分析,javaweb,android,表格等多项技能,一起努力,共同成长。
展开
-
数据治理-组织触点
协调工作的一部分包括为数据治理工作制定组织接触点。原创 2023-09-23 00:38:04 · 149 阅读 · 0 评论 -
数据治理-GDPR
原创 2023-09-23 00:29:00 · 92 阅读 · 0 评论 -
数据治理-元数据度量指标
要想测量元数据的影响,就需要验证缺少元数据导致的影响,作为风险评估的一部分,将数据使用者搜索信息所花费的时间作为评估指标,以便在实施元数据解决方案后体现改进过程。元数据管理实施的有效性可以根据元数据本身的完整性、与其关联的日常操作以及元数据的使用情况来度量。原创 2023-09-23 00:27:24 · 261 阅读 · 0 评论 -
数据治理-数据架构-业务驱动因素
数据架构的目标是在业务战略和技术实现之间建立起一座通畅的桥梁,数据架构是企业架构的一部分,其主要职责为:原创 2023-09-22 23:57:50 · 171 阅读 · 0 评论 -
数据治理-工具和方法
数据治理从根本上讲是关于组织行为的,这不是一个可以通过技术解决的问题,但是,仍然需要一些工具支持整个过程。例如,数据治理需要持续的沟通,可以利用现有的沟通渠道以一致的方式传达关键信息,使相关方了解到制度、标准和要求。此外,数据治理流程必须有效管理自己的工作和数据,利用工具不仅仅对任务有帮助,而且对支持它们的指标也有帮助。在为某些特定的功能(如业务术语表解决方案)工作选择工具之前,组织应通过定义总体治理目标和需求来选择适合的工具。例如,有些术语表解决方案还包括用于策略、工作流管理其他组件。原创 2023-09-22 23:48:59 · 365 阅读 · 0 评论 -
数据治理-数据资产估值
数据生命周期大多数阶段涉及成本。数据只有使用时才有价值,使用时数据还产生与风险相关的成本。因此,当使用数据的经济效益超过了上述成本时,就会显现其价值。原创 2023-09-22 23:37:20 · 198 阅读 · 0 评论 -
数据治理-重要图
车轮图六边形图标题原创 2023-09-22 23:25:34 · 123 阅读 · 0 评论 -
数据治理-元数据扫描
可以使用一个非持久的元数据暂存区进行临时和备份文件的存储,暂存区应支持回滚和恢复处理,并提供临时审计跟踪信息,这样有助于存储库管理员追踪元数据来源或质量问题,暂存区可以采用文件目录或数据库的形式。原创 2023-09-22 20:46:35 · 1211 阅读 · 0 评论 -
数据治理-匹配风险
匹配:匹配或候选识别是识别不同记录如何与单个实体相关联的过程,这个过程的风险是:原创 2023-09-22 20:30:55 · 68 阅读 · 0 评论 -
数据治理-规范化
规范化规则根据主键和外键整理属性。规范化规则将归类到不同规范层次,对每一个层次可应用更细的方式和规范性来搜索正确的主键和外键。规范化是运用规则将复杂的业务转化为规范的数据结构的过程,范式化的基本目标是保证每个属性只在一个位置出现,以消除冗余或冗余导致的不一致性。整个过程需要深入理解每个属性,以及每个属性与主键的关系。模型的规范化通常要求达到第三范式水平即可。原创 2023-09-22 19:53:42 · 189 阅读 · 0 评论 -
数据治理-CMM(数据管理成熟度模型)
数据管理成熟度宏观状态的一般总结,包括每个知识领域内的子类别标准的详细评估,如战略、决策、标准、角色定义等;原创 2023-09-22 19:35:00 · 305 阅读 · 0 评论 -
数据治理-选择DMM框架标准
选择DMM框架时,应考虑以下标准:原创 2023-09-22 19:14:43 · 262 阅读 · 0 评论 -
数据治理-预测分析、规范分析
预测分析是有监督学习的子领域,用户尝试对数据元素进行建模,并通过评估概率估算来预测未来结果。预测分析深深植根于数据,特别是统计学,与无监督学习拥有许多相同的组成部分,对预测结果进行测量时差异是可控的。预测分析是基于可能事件(购买、价格变化等)与可变因素(包括历史数据)的概念模型开发。当它接收到其他信息时,模型会触发组织的反应。原创 2023-09-22 19:01:49 · 137 阅读 · 0 评论 -
数据治理-大数据评估关键成功因素
业务相关性。大数据/数据科学计划及其相应的用例与公司业务的一致性如何?要取得成功,他们必须强有力执行业务功能或流程; 业务准备情况。业务合作伙伴是否为长期递增的交付做好了准备?他们是否承诺建立卓越中心以在未来版本中支持产品?目标团队内的平均知识或技能差距有多大,是否可以在单个增量内跨越? 经济可行性。建议的解决方案是否保守地考虑了有形收益和无形收益?所有权成本的评估是考虑购买或租赁物品,就是从零开始构建? 原型。是否可以在有限的时间内,为一小部分最终哟用户团体提供建议的原型方案,以证明建议的价值?大规原创 2023-09-22 18:51:24 · 96 阅读 · 0 评论 -
数据治理-科特的重大变革八步法
约翰·科特是变革管理领域最受尊敬的研究者之一,他在《领导变革》一书中总结了组织执行变革遭遇失败的八大误区。对信息管理和数据管理环境下经常出现的问题具有参考意义。原创 2023-09-22 18:40:47 · 302 阅读 · 0 评论 -
数据治理-EDRM电子取证
在辨认阶段,它有两个子阶段。EDRM是电子取证标准和指南的组织,该框架提供了一种电子取证的方法,对于涉及确定相关内部数据的存储方式和位置、适用什么保留策略、哪些数据不可访问以及哪些工具可用于协助识别流程的人员来说,这种方法非常方便。该模型包括8个可以迭代的电子取证阶段,随着电子取证的发展,可取证的数据和信息的数量大大减少,因为它们的相关性大大增加。处理和审查依赖于分析阶段的结果,但分析被认为是一个单独的阶段,侧重于内容,内容分析的目的是了解诉讼或调查中的情况、事实和潜在证据,以制定应对法律情形的策略;原创 2023-09-22 00:02:57 · 365 阅读 · 0 评论 -
数据治理-分类法
分类法是一种命名结构,包含用于概述主题、启用导航和搜索系统的受控词表。分类法有助于减少歧义并控制同义词,层次分类法包含了对索引者和搜索者都有帮助的多种类型的父/子关系。这样的分类法常用于向下扩展分类。原创 2023-09-21 21:44:50 · 198 阅读 · 0 评论 -
数据治理-交互模型
交互模型描述了在系统之间建立连接以传送数据的方式。原创 2023-09-21 20:22:28 · 256 阅读 · 0 评论 -
数据治理-自助式商务智能
自助服务是商务智能产品的基本交付方式。它通常会将用户活动放在受管门户中,根据用户的权限提供各种功能,包括消息传递、警报、查看预定的生产报表,与分析报表交互、开发即席查询报表,当然还有仪表盘和计分卡功能,报表可以按标准计划推送到门户,供用户在空闲时检索。用户还可以通过在门户中执行报表来提取数据,这些门户跨组织边界共享内容;曾经只是IT和开发人员的领域,现在业务团队也可以使用许多数据处理,计算和可视化技术,这提供了一定程度的工作负载分配,集成工作可以通过业务渠道进行可行的原型设计,然后由IT实现和优化。原创 2023-09-21 00:37:39 · 65 阅读 · 0 评论 -
数据治理-重要知识点
对数据资产管理行使权力、控制和共享决策(规划、监测和执行)的系列活动;原创 2023-09-20 23:47:01 · 126 阅读 · 0 评论 -
数据治理-GDPR准则
GDPR准则 描述 公平、合法、透明 数据主题中的个人数据应以合法、公平和透明的方式进行处理 目的限制 必须按照指定、明确、合法的目标来采集个人数据,并且不得将数据用于采集目标之外的方法 数据最小化 采集的个人数据必须足够相关,并且仅限于处理目的的相关必要信息 准确性 个人数据必须准确,有必要保持最新的数据,必须采取一切合理步骤,确保在完成个人数据处理后能及时删除或更正不正确的个人数据 存储限制 数据必须以可以识别的数据主体(个人)的形式保存,保存时间原创 2023-09-20 23:32:33 · 175 阅读 · 0 评论 -
数据治理-数据质量
识别关键数据;识别已有规则和模式。开发数据质量操作规程;修正数据质量缺陷;度量和监控数据质量;报告数据质量水平和调查结果。了解并优先考虑业务需求;确定满足业务需求的关键数据;根据业务需求定义业务规则和数据质量标准;根据预期评估数据;分享调查结果,并从利益相关方那里获得反馈;优先处理和管理问题;确定并优先考虑改进机会;测量、监控和报告数据质量;管理通过数据质量流程生成的元数据;原创 2023-09-20 00:43:01 · 190 阅读 · 0 评论 -
数据治理-元数据管理-部分内容
主要关注数据的内容和条件,另包含与数据治理相关的详细信息,业务元数据包括主题域、概念、实体、属性的非技术名称和定义、属性的数据类型和其他特征,如范围描述、计算公式、算法和业务规则、有效的阈值及其定义;提供有关数据的技术细节,存储数据的系统以及在系统内和系统之间的数据流转过程的信息。原创 2023-09-19 21:23:48 · 128 阅读 · 0 评论 -
数据治理-数据仓库和商务智能-部分内容
数据仓库建设应遵循原则聚焦业务目标,用于最优级的业务并解决它; 以终为始,以业务优先级和最终成果驱动仓库创建; 全局性的思考和设计,局部性的行动和建设; 总结并持续优化,而不是一开始就这样做; 提升透明度和自助服务; 与数据仓库一起建立元数据,DW的成功关键是能准确解释数据; 协同,与其他数据活动协作,尤其是数据治理、数据质量和元数据管理活动; 不要千篇一律。为每种数据消费者提供正确的工具和产品。数据仓库建设目标支持商务智能活动; 赋能商业分析和高效决策; 基于数据洞察寻找创新方原创 2023-09-19 20:42:57 · 192 阅读 · 0 评论 -
数据治理-数据建模和设计-PRISM设计原则
在设计和构建数据库时,DBA应牢记以下PRISM设计原则:原创 2023-09-19 20:24:53 · 664 阅读 · 0 评论 -
数据治理-文件和内容管理
是针对存储在关系型数据库之外的数据与信息的采集、存储、访问和使用过程的管理,重点在于保持完整性,确保可访问,确保安全和高质量,需要可靠的架构和管理良好的元数据;原创 2023-09-18 23:28:59 · 134 阅读 · 0 评论 -
数据治理-数据仓库环境
数据仓库环境包括一系列组织起来以满足企业需求的架构组件,从源系统流动到数据暂存区,数据可以在这里被清晰,当数据集成并存储在数据仓库或操作数据存储中时,可以对其进行补充丰富。在数据仓库中,可以通过数据集市或数据立方体访问数据,生成各种各样的报表。原创 2023-09-18 23:22:59 · 408 阅读 · 0 评论 -
数据治理-数据安全-度量指标
数据安全的度量指标主要分为5类;分别为安全实施、安全意识、数据保护、安全事件、机密数据扩散。原创 2023-09-17 21:54:45 · 651 阅读 · 0 评论 -
数据治理-数据模型计分卡
数据模型计分卡方法,用于衡量数据模型质量,其中提供了10个数据模型质量指标,介绍了组成计分卡的10个不同类别的指标及分值;综上所述,计分卡提供了对模型质量的总体评估方法,并明确支出了针对模型的改进方案。模型分数列包含评审员对特定模型满足评分标准的评估,最高分是总分数列显示的值。原创 2023-09-17 21:07:31 · 447 阅读 · 0 评论 -
数据治理-数据建模和设计
发现、分析和确定数据需求的过程,用一种称为数据模型的精确形式表示和传递这些数据需求。过程是循环迭代的,可能包括概念、逻辑和物理模型。原创 2023-09-17 19:41:40 · 406 阅读 · 0 评论 -
数据治理-数据架构-度量指标
企业数据架构衡量指标反映了架构目标:架构接受率、实施趋势、业务价值。数据架构衡量工作通常作为项目总体业务客户满意度的一部分,每年开展一次。可以测量项目与已建立的数据架构的紧密程度及项目与企业架构参与流程的遵循度。追踪项目预期的衡量指标也有助于理解和采纳执行过程中出现的问题;对跟踪企业架构改善组织实施项目能力的程度,至少沿两个方向进行改善;原创 2023-09-17 16:43:02 · 260 阅读 · 0 评论 -
数据治理-数据架构-建立企业数据架构
在理想情况下,数据架构应该是企业架构的组成部分,但如果没有企业架构,则依然可以构建数据构架团队。在这种情况下,组织应该设计有助于明确目标和驱动数据架构的框架。该框架将数据架构实施路线图中的方法、范围和工作优先级产生影响。选择适用于业务类型的框架。框架中的视图和分类必须利于不同的利益相关方的沟通。这对于数据架构实施计划尤为重要,因为数据架构框架致力于业务和系统属于。数据架构与业务架构有非常密切的联系。建立企业数据架构通常包括以下工作,这些工作可以串行或并行执行。原创 2023-09-17 16:24:01 · 208 阅读 · 0 评论 -
数据治理-定义数据治理运营框架
开发数据治理的基本定义很容易,但是创建一个组织采用的运营框架可能很困难。原创 2023-09-17 15:32:36 · 180 阅读 · 0 评论 -
数据治理-数据架构
架构:对组件要素有组织的设计,旨在优化整合结构或系统的功能、性能、可行性、成本和用户体验。系统的基本结构,具体体现在架构构成的组件、组件之间的相互关系以及管理其设计和演变的原则。在组织不同范围、不同层级开展。负责将难以理解的东西定义明确清晰。企业架构包含业务架构、数据架构、应用架构和技术架构等。好的架构能帮助组织了解系统状态、加速转好,实现守规提效的目标。数据架构是数据管理的基础,需要在不同层级上描述,以便更好的了解和帮助决策。数据架构的构件:当前状态的描述、数据需求的定义、数据整合的指引、数据原创 2023-09-17 12:07:28 · 252 阅读 · 0 评论 -
数据治理-基本概念
长期以来,对数据的定义强调了它在反映客观事实方面的作用。在信息技术中,数据也被理解为以数字形式存储的信息(尽管数据不仅限于已数字化的信息,而且与数据库中的数据相同,数据管理的原则也适用于纸面上的数据)。大多数人认为数据代表事实,数据是这个世界中与某个事实结合在一起的一种真实表达。但“事实”并不总是简单或直接的。数据是一种表示方法,它代表的除自身以外的事物。数据既是对其所代表对象的解释,也是必须解释的对象。这是人们需要语境或上下文使数据有意义的另一种说法。原创 2023-09-16 19:15:06 · 150 阅读 · 0 评论 -
数据治理-度量指标
为了管理所需的行为变化,要着重衡量数据治理的推广进展、与治理需求和符合程度以及数据治理为组织带来的价值。重点是充实和强化治理价值的指标。另外,数据治理推出后,要验证组织是否拥有支持数据治理所需资源的指标,这对于维持治理规程同样重要。为应对长期学习曲线的阻力和挑战,对数据治理项目必须要有通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。原创 2023-09-16 18:02:10 · 372 阅读 · 0 评论 -
数据治理-数据治理相关范围
数据治理是在管理数据资产过程中行使权力和管控,包括计划、监控和实施。数据治理职能是指导所有其他数据管理领域的活动,数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱动力是确保组织可以从其数据中获取价值,数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式。战略:定义、交流和驱动数据战略和数据治理战略的执行;制度:设置与数据、元数据管理、访问、使用、安全和质量有关的制度;标准和质量:设置和强化数据质量、数据架构标准;原创 2023-09-16 17:39:47 · 186 阅读 · 0 评论 -
数据治理-数据存储和操作-数据库组织模型
数据库存储系统提供了一种将数据放入磁盘并管理和处理这些数据所需指令的封装方法,因此开发人员可以简单地使用指令来操作数据。数据库通常以3种形式进行组织:层次性、关系型和非关系型;这种归类并不是完全互斥的。一些数据库系统可以同时读写以关系型和非关系型组织结构的数据。层次型数据库可以映射成关系型表结构。带有行分隔符的文本文件可以被读取为分行的表,并且可以定义一列或多列来描述行内容。原创 2023-09-16 17:13:56 · 213 阅读 · 0 评论 -
数据治理-数据存储和操作-数据处理类型
数据库处理有两种基本类型,ACID和BASE,ACID是酸的意思,而BASE有碱的含义,是对立的两端。CAP定理用于界定分布式系统与ACID(强调一致性C)还是BASE(强调可用性)更加接近。原创 2023-09-16 16:20:48 · 226 阅读 · 0 评论 -
数据治理-数据存储和操作-数据架构类型
数据库可以分为集中式数据库和分布式数据。集中式系统管理单一数据库,而分布式系统管理多个系统上的多个数据库。分布式系统组件可以根据组件系统的自治性分为两类:联邦的和非联邦的。原创 2023-09-16 15:48:40 · 168 阅读 · 0 评论