x_pohai2010的专栏

2021 年初，在 InfoQ 编辑部策划的全年技术趋势展望中，我们提到大数据领域将加速拥抱“融合”（或“一体化”）演进的新方向。本质是为了降低大数据分析的技术复杂度和成本，同时满足对性能和易用性的更高要求。如今，我们看到流行的流处理引擎 Apache Flink（下称 Flink）沿着这个趋势又迈出了新的一步。1 月 8 日上午，Flink Forward Asia 2021 以线上会议的形式拉开帷幕。今年是 Flink Forward Asia（下文简称 FFA）落地中国的第四个年头，也是 Flin

主数据项目的建设是一个循序渐进、持续优化的过程，不可一蹴而就。主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段，而每个阶段都是必经阶段，每个阶段均可独立成章，所以这里是四部曲，不是四步曲。主数据项目建设从方法上，分为以下四部，简单归结为12个字：“摸家底、建体系、接数据、抓运营”！ 一、摸家底 1、数据资源普查 数据资源普查的方法常用的有两种，一种是自顶向下的梳理和调研，另一种是自底向上的梳理和调研。自顶向下的调研一般会用到IRP（信息资源规划）和BPM（业务流程管

一、数据标准是什么 数据标准化是指研究、制定和推广应用统一的数据分级分类、记录格式及转换、编码等技术标准的过程。——维基百科数据标准是一套有管理制度、管控流程、技术工具共同组成的体系，是通过这套体系的推广，应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化，数据标准管理是数据资产管理的核心活动之一，对于企业提升数据质量、厘清数据构成、打通数据孤岛、加速数据流通、释放数据价值有着至关重要的作用。 二、数据标准分类 数据标准是进行数据标准化、消除数据业务歧义的主...

目录一、前沿二、认识元数据四、元数据的分类1、业务元数据2、技术元数据3、管理元数据五、元数据管理成熟度1、L0:初始状态2、L1:从属于业务系统3、L2：元数据统一存储4、L3: 元数据集中管理5、L4：元模型驱动管理6、L5: 元数据管理自动化六、元数据管理平台架构1、元数据采集服务2、元模型驱动的设计与开发3、元数据管理服务4、元数据访问服务5、元数据分析服务（1）血缘分析（2）影响分析（3）冷热度分析（...

目录一、数据治理概述二、元数据、数据元、数据源、源数据1、数据元2、元数据（MateData）2、数据源（Data Source）3、源数据（Source Data）三、主数据、基础数据、静态数据1、主数据2、基础数据3、静态数据四、数据标准、数据规范五、数据目录、数据分类、数据标签1、数据目录2、数据分类3、数据标签六、数据模型、数据结构、数据字典1、数据模型2、数据结构3、数据字典七、数据仓库、数据湖、数据工厂、数据中台