hanyueqi的专栏

在进行数据标准化的过程中需要确定属性或者实体的域，通过该域可完成属性或者实体的类别划分以及属性的某些类型约束。例如我们可以在域中确定域的描述信息例如类型、长度以及解释信息，从而实现了域某种程度上的约束。在我看来在数据标准中引入域的概念可能有以下几方面的考虑：构建一种通用的、标准化的数据格式，这样便于系统内部或者标准化主体之间的数据交互；构建一种关于相同信息的统一描述，该描述特指业务

通过这段时间的学习，对数据建模以及建模过程中所涉及的领域、知识有了一个初步的概念，然而如何设计好数据模型，并有效地进行模型管理是一个涉及多领域的话题。例如，在程序开发过程中，数据涉及到需求、设计、开发、测试、后期整理的整个过程，在这个过程中数据、数据模型、模型管理、模型管理流程在其中所充当的角色可能是值得大家考虑及考量的事情，同时如何协调好在开发的过程中与多方的关系又变成了一门管理、沟通方面的

1、为什么需要构建数据架构数据标准不一致（列名相同数据类型不同、列明相同数据类型相同长度不一、列名没有统一标准识别困难、列名定义不统一类型不一致长度不相同、中文名称相同英文缩写不同或英文缩写相同中文名称不同）数据标准化管理提些（构建动态单词库，标准遵循度自动检测，标准自动应用，标准管理流程化，构建知识库基础内容，为大数据应用提供统一标准）标准化管理实施成果，用语校验机制（申请、校验、标准知

OLAP系统小析OLAP与OLTP系统从本质上都属于数据处理的基本方式，只是在系统的功能与作用上有一定的区分，OLTP更适合或者倾向于业务数据处理，限时返回业务处理结果，同时在业务处理的过程中一般都是业务逻辑的处理过程。而OLAP一般都是倾向于业务数据分析过程，例如在业务数据的基础上进行数据分类、数据检验、数据报表生成以及数据规律的挖掘，从而借助于系统实现知识的不断增长从而达到决策支持的目的。

在传统的数据仓库下，基本上都是以为数据的完全拥有与完全存储为己任，进而在上面进行相应的数据操作与数据处理，然而大数据时代下OLAP本身的功能需要因为大数据相关技术的发展而产生一些变化。个人感觉可能会产生以下几个方向的转换：1、数据处理方式的变化，之前通过一种数据即可处理数据，当数据量达到一定规模时，就无法依照这种方式进行处理，需要借助于Hadoop或者其他的并行处理框架进行计算，这一点可以当作

在进行ITIL系统的设计与开发过程中，总是会遇到各种各样的数据处理方案及问题，例如ITIL平台的数据源来自于三个不同的平台，在不同的平台中会有不的数据标准，同时在进行错误检查的过程中又有不同的标示方式标记错误数据。       例如，其中一个两个系统以null值作为未获取数据的标示，而另外一个系统以-9999作为未能获取数据标示，所以如果在进行存储及搜取的过程中，需要解决这些问题，将其变成统一

1、管理层面：     数据质量标准（完整性、唯一性、有效性、一致性、正确性）；     数据质量针对具体的数据内容，进行数据内容进行系统检查；2、业务层面：     数据质量关键对象（CTQ）：业务上最重要的部分对应的数据；     对已发现的问题进行访谈调查，     数据剖析：     数据概要分析，对数据源表中值进行系统化的预先分析，可以帮助发现业务的实际规

当一个企业进行数据标准化或数据模型管理时，除了对数据本身标准化规则或者相应表格的构建外，相当大一部分需要考虑标准化流程的管理。而在管理过程中必然会设计到新旧系统、不同部门、不同业务的冲突，这些冲突如果解决不好将会直接导致标准化或者模型管理的失败。        从这个角度看，标准化或者模型管理的过程更多的涉及沟通，此时可以当成一个项目来进行处理，此时可以把标准化或者标准写入当成是变更来进行处理

在进行数据标准化方法的学习过程中，结合平常的项目开发的一些例子，感觉我们在词汇整理与规范化过程中需要注意的几个小问题。师出有名。数据标准化需要有一定的驱动或者契机，甲方或者某些利益相关的群体有了这样的需求，需要我们对数据进行标准化，这样就会在标准化的过程中给予一定的支持。有章可循。在进行标准化时，我们需要有一块“黑板”，上面记录了我们已经做的标准，让相关人员可以看到，这样可以让所有人看到标

1、分布式系统中高性能问题及难点（单一节点能力最高）内存和并发编程领域的难题；网络通信；事件编程；2、内存和并发编程领域的难题Java建立线程与CPU之间的映射及Heap与内存之间的透明化；Java无法直接操作物理内存，目前可以DirectByteBuffer（可在堆外分配内存，可以跳过GC，但是内存释放有一些问题，移动过程中存在内存复制及CPU消耗（序列化与反序列