第27号专栏

前言        阅读本文前，请先回答下面两个问题：        1. 数据库和数据仓库有什么区别？        2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束，也不完全满足范式要求，甚至第一范式都不满足。这种情况正常吗？        如果您不能五秒内给出答案，那么本文应该是对您有帮助的。        注：如果您还不清楚完

转载本文需注明出处：微信公众号EAWorld，违者必究。是不是感觉漫画中的场景很熟悉？没错，这种场景几乎每天都在企业中重复上演。一、数据质量问题的危害当前越来越多的企业认识到了数据的重要性，数据仓库、大数据平台的建设如雨后春笋。但数据是一把双刃剑，它能给企业带来业务价值的同时也是组织最大的风险来源。糟糕的数据质量常常意味着糟糕的业务决策，将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等...

转载本文需注明出处：EAII企业架构创新研究院（微信号：eaworld），违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直接回复此公众号：“加群 姓名 公司 职位 微信号”。本文梗概：在项目开发时，业务人员和技术人员对同一指标的理解不一致，很容易导致项目的最终结果和业务需求相差甚远。数据标准作为企业对数据进行定义的依据，是增强企业各部门对业务统一理解的手段，通过数据标准体系的建设，企业可...

转载本文需注明出处：EAii企业架构创新研究院（微信号：eaworld），违者必究。如需下载此文PPT，加入微信群参与微课堂、架构设计与讨论直播请直接回复公众号：“加群 姓名 公司 职位 微信号”。最近Gartner在研究报告里明确指出，“元数据管理将是未来企业信息化的核心基础设施”。确实，在大数据环境中，如果企业不通过元数据管理把多种复杂的信息管理起来，很难做到信息的有效利用。但是，很多企业逐渐...

目录：一、航空业数据治理现状二、航空业大数据治理的三个发展趋势三、规划企业数据架构的两种模式四、规划企业数据架构的三个关键技术五、总结一、航空业数据治理现状目前航空行业数据治理已经逐步在开展起来，驱动航空行业开展数据治理工作的因素与证券、银行、通信领域不同。证券行业有证监会33条规定，银行业有银监会要求在2017年7月份开始实施报送数据标准化规范要求，这些外在监管要求促使了证券、银行必须开展数据治...

在中国制造2025战略决策的指引下，制造业都在智能制造领域探索自身的发展路径，希望能够跟上数据发展的浪潮，以数据驱动业务快速提升企业竞争力。那么面对企业海量数据，如何找到数据管理的切入点呢？分析近些年我所接触到的制造业数据项目中，制造业在数据管理方面起步较晚，企业自身已经意识到数据管理的重要性，并根据自身发展情况不同而选择适合自己的建设目标，大多数企业纷纷选择主数据管理来入手。制造业主数据有着鲜明...

前言在企业经营到一定规模后，经营中涉及到的各类数据由于名称不一致，编码不统一，应用范围不同等客观存在的因素，对经营时业务沟通的流畅性造成一定的负面影响，即企业面临着建设主数据标准和统一管理、分发、应用的需求。本文针对主数据标准化项目，对涉及的各个阶段进行了划分，同时针对关键的难点进行介绍并分享了常规的应对措施。当企业经营到一定规模时，对有效管理和科学管理会有更高需求，在正常生产经营的同时，有效合理...

一、数据模型信息系统是对信息进行收集、传递、存贮、加工、维护的计算机系统。通过信息系统，信息已经变为有标准有规律有组织的数据（数据库）。数据是信息的记录载体，是经过加工并使之可表现的信息。信息是数据中包含的意义，是数据之所以有价值的内容。所以，信息系统通常也叫做数据处理系统。要设计一个能满足要求的信息系统，关键之处就是如何把信息系统要处理的信息，通过抽象、综合、分类定义为有标准

主要大纲：1. 数据质量管理的三个要素2. 数据质量管理的技术关键点3. 数据质量管理实战“十三五”，规划提出了国家的大数据战略，指出了企业实现以数字化驱动业务发展，实现数据开放共享，创新业务发展的新思路。现阶段大中型企业已经开始了数据化运营的实践。在这个环境和趋势中，数据是得以实现整个规划布局的前提。在将数据作为资产的前提下，企业的运营需要准确的、完整的、及时的、高价值、高质量的数据。一、数据质...

转载本文需注明出处：微信公众号EAWorld，违者必究。在企业数据建设过程中，大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量，到自服务和智能化的数据应用，大数据治理的内容在不断地发展和完善，其落地实施的过程中会遇到各种各样的难题和挑战。本篇文章通过分析大数据治理建设中的沟沟坎坎，总结出了大数据治理需要具备的能力和关键技术。本文目录：一

写在前面笔者写这篇文章的初衷源于两个故事：故事一：一位在互联网行业做数据库架构多年的同事一起吃饭，问起我现在在说什么，我说自己在做医疗方面数据分析，同事笑，说：你有很多资源啊，只要你能拿到电子病例的数据，就能分析很多东西了……我脸上的微笑表情瞬间僵化！故事二：当时为内蒙一个企业做上游原材料供应商的数据管理项目，当时我们拿到的只是该企业小部分供应商的数据，下一阶段计划拿到其全国供应商的相关数据

摘要： 在阿里巴巴在线在线技术峰会上的第三天，来自阿里云高级技术专家李金波为大家题为《企业大数据平台仓库架构建设思路》。本次分享中，李金波主要从总体思路、模型设计、数加架构、数据治理四个方面介绍了如何利用大数据平台的特性，构建更贴合大数据应用的数据仓库。本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的《企业大数据平台仓库架构建设思路》的分享整理而成。随着互联网规模不断的扩大，数据也在爆炸式...

前言        上一篇重点讲解了数据仓库建模，它是数据仓库开发中最核心的部分。然而完整的数据仓库系统还会涉及其他一些组件的开发，其中最主要的是ETL工程，在线分析处理工具(OLAP)和商务智能(BI)应用等。        本文将对这些方面做一个总体性的介绍(尤其是OLAP)，旨在让读者对数据仓库的认识提升到一个全局性的高度。创建数据仓库      

前言        数据仓库建模包含了几种数据建模技术，除了之前在数据库系列中介绍过的ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。        本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。维度建模的基本概念        维度

一、数据仓库的架构数据仓库（Data Warehouse DW）是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它的数据基于OLTP源系统。数据仓库中的数据是细节的、集成的、面向主题的，以OLAP系统的分析需求为目的。数据仓库的架构模型包括了星型架构（图二：pic2.bmp）与雪花型架构（图三：pic3.bmp）两种模式。如图所示，星型架构的中间为事实表...