hanxiaolaa的博客

数据合规指的是企业及其员工对于数据收集、存储、使用、处理、共享、转让、跨境或非跨境传输、流动、保护的行为需符合国际条约、国内法律法规规章、其他规范性文件、行业准则、商业惯例、社会道德以及企业章程、规章制度的要求。企业数据可分为个人数据与非个人数据，前者是指具有可识别性的个人数据，如员工数据与客户（用户）数据，后者是指与个人无关的数据，如企业经营记录、日常管理记录、财务会计记录。而一个行之有效的合规体系搭建，离不开合理的制度和程序、高层参与、风险评估、尽职调查、培训和沟通、监督和审核等因素。

做好数据采集首先要充分考虑企业规模和数据规模的增长，提前做好数据信息积累的准备，其次需要收集足够全面的属性、维度、指标，使积累的数据更高质量，最终实现交叉贯穿，实现有效的分析数据，最后还需提高数据采集的及时性，从而提高后续数据应用的及时性。由于大量的数据仅仅是保存并沉睡在系统中，那么其质量问题很难暴露出来，只有被使用时，问题才会逐渐显现，但是将无数据质量保证的数据直接应运，损失的不仅仅是前期投入的精力、财力和物力，更严重的后果是执行了从不准确数据推到出的错误的算法、建模、决策等而产生的二次损失。......

个人在未来的发展中间，个人不仅仅是单纯的信息接触方，随着众包的数据，或者包括智能车辆的技术发展，个人也是数据的承接方，如何让个人有积极性，把数据共享出来，包括碳交易，商业活动的打折活动，进行数据的变现交易，这也是未来考虑的重点，因为在往年的时代，人、出行者、驾驶员、车辆、道路、枢纽，整个后台云端都是有效联通的，这也为基于交通数据的个人增值服务与保险，碳积分等提供了可能。还有一些定制公交的优化，在数据驱动下，我们知道哪些区域是潜在需求比较旺盛的区域，怎么设计线路包括车型的配比进行高效、高品质的服务。...

“我吹过你吹过的风，我们算不算相拥？算，属于密接。我走过你走过的路，我们算不算相逢？算，属于次密接……”这是最近火爆五一的一个幽默段子，在疫情严峻的当下，听听小段子，我们轻轻一笑，淡然面对后，有多少人会不禁好奇一下，大数据是如何判定我们曾相拥或相逢的？相拥或相逢，这极致的浪漫赋予共有者一个名称----时空伴随者。

文本来源大数据咖啡，作者王健傅一平评语：非常深刻且通俗易懂的讲解了数字化本质的文章，抽象的很好，我从这篇文章得到了六点收获：1、数字化的三种典型场景：（1）把人与人的交互迁移到数字世界，如游戏（2）物体信息映射到数字世界，滴滴出行（3）把业务场景迁移或映射到数字世界，如天猫2、数字化和信息化的关系：第一阶段：信息记录，物理世界为主，数字世界为辅，第二阶段：用户活动迁移，数字世界为主，物理世界沦为辅助，第三阶段，业务数字化重塑，数字世界从模仿物理世界演化到用数字世界的特质（大数据，人工智能，.

数字化转型已经是各行各业不可阻挡的战略发展方向，中国交通行业在迎来从本地政策支持、开放的市场、到数字化转型等所带来的黄金时代及红利，使其在大数据技术的引入，依托大数据技术的业务及制度创新等促使行业大数据的发展正引领交通行业的变革。而数据要素是数字经济的一个重要的组成部份，既是数字化转型的成果之一，也是数字经济增长的重要引擎，但当前数据要素资产化所面临的问题和困难，尤其是数据资产定价问题，极大妨碍了当前交通行业数字化转型及数字经济的发展，正是在这一背景下，作为DQMIS 2022年系列之一的行业数...

本人所在的企业为亚洲领先的保险集团公司，公司业务遍布亚太地区多个国家，覆盖寿险、财险、健康险等多个险种。立足于创新、多元化的互联网保险产品与服务发展目标，作为公司数据部门的元老，我先后参与建设了公司的SMART 投保系统、UW/NB核保系统、LA个险核心系统等多个业务系统，同大部分保险企业一样，我们的软件开发能力有限，以及环境、投入等因素，我们各系统均为不同开发商基于自己对业务的理解进行规则设计与开发。对于集成这些系统的我们而言，保障系统间数据一致并能有效联动成为现今工作的至关难关：在测试环境...

依法纳税本是每个公民应尽的义务。这几年，有关明星、网红、大咖偷税，漏税的名人不少。应该说，对于很多普通人来说，确实无法理解，身价上亿，每天以百万千万进账的收入，他们却偏偏选择偷税漏税。难道真的是最终抵不住“金钱”的诱惑，选择“铤而走险”，才使得偷税漏税个案层出不穷？很多人或者企业直到被税务部门提醒整改，或者整改结束后依然被处以巨额罚款，也就是说他们基于自身软件条件的不足，并不知道自己偷税了。明明只是避税，怎么就违法了？企业避税都是违法的吗？避税是指纳税人在不违反税法规定的前提下，将纳税义

文章来源于凯哥讲故事系列，作者筱愚她爸傅一平评语：讲中台理论和方法的文章很多了，但能以案例形式讲出来的不多，这篇文章挺接地气，以一个订单案例的形式说明了数据中台和业务中台的核心价值。1、业务中台解决业务数据化问题，包括一致性、响应力、维护性和性能等问题2、数据中台解决数据智能化问题，包括分布式数据架构、服务化、实时化及全域数据的一致性等问题复杂的概念简单化，挺不容易，举案例是很好的方式，但有多少人在讲概念的时候，实际是举不出案例的，这叫知行不合一吧。01.前言数据中台和业务中台..

以下文章来源于大鱼的数据人生，作者讨厌的大鱼先生现实中的企业数据治理组织的职责到底有哪些呢？如果让你成立企业数据管理部，你该如何安排人员？本文以大鱼的实践讲了企业数据管理部的构成，它可能适用于对于企业数据治理的价值有高度认知、并在资源上能给予实际支持的大型企业。企业数据管理部一般是虚实结合的组织，至少有以下十大职能，分别是数据战略管理、制度规范建立、信息架构管控、数据质量管控、数据安全管控、统筹跨部门需求、数据湖及治理平台建设、数据变革项目、数据创新孵化及培训推广运营，应该以此为工作内容组建..

来源：傅一平与数据同行拆掉部门间数据的“墙”是很多公司头痛的问题，自己最近做了一些思考，这里给出八个策略：1、数据共享要成为公司的顶层设计，形成共识2、明确公司数据的所有权组织，这是践行“数据是公司的战略资产”的前提3、打破“部门墙”不是“一把手”工程，而是系统工程4、制度固然重要，但成功的要点却在于流程再造5、再好的制度和流程，在现实面前也需要妥协6、从最关键的数据开始，不追求数据共享的规模7、让各部门在共享数据中获益，实现共同成长8、公司的数据部门是管理者，更是服务者服务...

本文转载于：数据学堂，原文来源：Datablau傅一平评语：这篇文章介绍了数据资产目录的建设方法论，大概分为6个步骤：1、数据资产梳理：数据资产盘点及补充完善数据资产信息2、数据资产目录框架设计：业务视角、行业模型、其它行业成功经验、业务标准3、数据标签体系：数据分类分级、数据共享、数据认责、数据脱敏、数据质量、业务流程、业务实体4、数据资产目录与数据资产盘点结果建立关系5、数据资产与数据标签：数据资产标签化、数据资产目录与数据标签形成网状网数据检索体系6、利用数据资产管理.

原创讨厌的大鱼先生大鱼的数据人生数据分类的目的是为了针对不同特性的数据采取不同的管理策略，以期实现最大的投入产出比，不同的企业或组织基于不同的目的，可以从多个角度对数据进行分类，今天就来聊一聊主流的分法。1、按照结构特征划分可以分为结构化数据、非结构化数据及半结构化数据。（1）结构化数据指数据元素之间具有统一且确定关系的数据，它由明确定义的数据类型组成，结构化数据一般特点是数据以行为单位，一行数据表示一个实体的信息。每一行数据的属性是相同的。结构化数据的分析更为便利，且存在成熟...

来源于数据力学，作者石头傅一平荐语：这篇文章的作者本身就是搞数据管理咨询的，点到的问题值得反思，观点总结如下：1、咨询顾问留下几百页文档，企业无法实际应用，新成立的数据组织，迟迟没有实际运作：这个现象其实不独在数据管理领域，整个咨询行业都有类似的问题2、大部分咨询顾问并没有实际的数据管理经验：具有实际企业数据管理经验的人肯定有不少，但估计自己所在企业的事情还干不过来，更别说总结输出了3、数据管理不仅仅是技术方法，更重要的是管理制度：技术复制相对简单，管理制度要复制是最难的，因为需..

以下文章来源于大数据架构师，作者彭文华傅一平荐语：概念是理解知识的关键，虽然你可能每天都听到主题域、概念、逻辑、物理模型这种数据仓库的名词，虽然你可能也实践过了，但不代表理解了这些概念的本质，理解本质的一个好处就是发现第一性原理，融通很多底层的知识，从而能举一反三，你在一个地方理解的东西可以应用到其他地方去。孔子就夸颜回：闻一知十，这篇文章对于数据仓库建模概念给出了一些业务解释，有利于你去理解一些本质的东西。正文开始彭友萌好，我是你的老彭友。上周，有个彭友给我提了一个问题，说对主题域、概念.

峰会高端闭门论坛　9月8日　下午（14:00-20:00） 时间 主题 与会嘉宾 14:00-14:30 签到 全体峰会高端闭门论坛嘉宾 14:30-16:30 讨论 国家数字经济及数据治理相关政策分享数据治理及相关行业的书籍出版状况（现状及计划）数据治理相关标准的制定现状与发展相关行业在数据治理的现状、问题及发展数据治理在实施执行的相关问题、技术及瓶颈目前中国在数据治理相关领域的教育与人才培养状况 全体峰会高端

数据质量管理国际峰会（DQMIS®，Data Quality Management International Summit）由北京大学、国家电网全球能源互联网研究院与华矩科技三家产学研代表于2017年联合发起，开创中国数据质量管理研讨先河，聚焦数据质量行业趋势洞察与前瞻研判，连续4年站在中国数据质量管理探讨前沿。DQMIS 2021第五届数据质量管理国际峰会将于2021年9月在中国.北京举办，本次峰会以“数据要素 · 以质创值”为主题，正是在这一宏大背景下，和各路行业大咖精英一起叩问数据要素元年的数据质量

来源：开放隐私计算一、数据何以成为生产要素？生产要素，不同流派有不同的定义和划分方法，百度百科的定义为：生产要素，是经济学中的一个基本范畴，包括人的要素、物的要素及其结合因素。生产要素指进行社会生产经营活动时所需要的各种社会资源，是维系国民经济运行及市场主体生产经营过程中所必须具备的基本因素。生产要素包括劳动、土地、资本、信息四种，随着科技的发展和知识产权制度的建立，技术也作为相对独立的要素投入生产。这些生产要素进行市场交换，形成各种各样的生产要素价格及其体系。生产要素的组成是个变化的概...

原创：辛梅“建设数字中国，发展数字经济。”从国家战略到个体发展，通过数字化手段提升组织业务增长和运营管理效率的数字化转型，成为企业面临的必然选择，而这其中，知识管理扮演着越来越重要的角色。但在新的形势下，知识的生成、存储、应用都面临着诸多挑战。5月21日，基于ECM（企业内容管理）的知识创新管理先行企业研讨会在上海举行，从知识密集型典型行业勘察设计入手，探讨知识管理现状与挑战，分享行业知识管理创新的方法与趋势。本文汇集其中的核心观点，供业界参考。一 困难重重的知识管理建设过程首先，..

作者：傅一平与数据同行这是一篇关于数据标准的综述，希望通过读这篇文章，你会对数据标准有全新的认识。注：数据标准规范相关文档见文末下载地址，包括《数据标准管理实践白皮书》、《数据资产管理实践白皮书》、《JRT 0105-2014 银行数据标准定义规范》、《数据资产管理实践白皮书、《证券期货业统计指标标准指引（2019 年修订）》、《GBT 36073-2018 数据管理能力成熟度评估模型》等一、数据标准的定义1、中国信通院《数据标准管理实践白皮书》[1][2]：...

以下文章来源于大鱼的数据人生，作者讨厌的大鱼先生做数据管理工作好多年了，其实刚从技术转成管理的时候，自己感觉还是蛮适应的，但随着人员的增加和业务范围的拓展，越来越感觉力不从心，有时会觉得做技术还是比较简单的，因为它面对的还是相对确定的东西。专业技能的成功也是最具可复制性的，它需要的只是你在一个领域坚持不懈地专注下去，只需要选择一个不算太不靠谱的方向，然后专心致志的专下去，最后必然能成为高手或者绝顶高手。世上有很多成功带有偶然因素和运气成分或出身环境，但至少这一样，被无数人复制了无数遍，否则就...

以下文章来源于大数据技术标准推进委员会，作者李雨霏前文回顾：https://blog.youkuaiyun.com/hanxiaolaa/article/details/DCMM讲的数据“需求管理”基础篇五 对于数据需求管理能力的几点说明1、数据需求说明书的关键要素有哪些？标准中暂无明确要求。数据需求说明书从业务、数据2个层面进行描述。业务层面，可描述该需求的业务背景、业务目标和业务价值。数据层面，可描述该需求的数据范围、数据业务含义、数据输出要求（报表、可视化、接口、文件等）、数据使用范围...

以下文章来源于大数据技术标准推进委员会，作者李雨霏前言在商品交易中，我们一直强调“顾客是上帝”，因为商品由顾客买单，也最终服务于顾客。在数据市场中，我们同样也需要强调这条“真理”，因为数据来源于企业的业务，也持续服务于企业业务创新与发展。因此，不断扩展企业内外部数据需求范围，及时了解梳理各类数据需求，提升数据需求响应速度，才可以最大程度发挥数据价值，使数据管理更充分的支撑业务发展。数据管理成熟度评估模型（DCMM）中将“数据需求”作为“数据生存周期”能力域的子能力项（其余3个分别为数...

对话双方：华矩顾问和某公司CFO财务部及CFO是一个企业在数据应用领域最频繁及关键的部门和个人，在企业级的数据治理项目中，他们扮演着重要角色，无论是对企业数据治理战略的推动，还是解决企业数据应用棘手的问题， 他们的声音都是至关重要不可或缺的。本期对话截取了华矩科技在数据治理咨询项目中和这一特定的部门和重要岗位的关于数据治理在概念、观念、执行等领域的对话，以更好了解一家企业的CFO对数据治理的关切、需求和展望。这也必将加深行业对自身数据治理能力的建设的理解。现分享如下：01 关于数据治理咨询项目交付内

理解概念是理解数据管理的第一步，很多概念我们知道，但内涵却不清楚，或者你以为清楚，这类澄清概念的文章可以很好的帮到你！源于数据治理周周谈，作者徐康随着数据治理工作的深入，数据标准的理念逐步为人所知、所识。但是，数据架构是什么，如何管理，谁来负责，还没有形成一致的共识。早前，在技术领域，系统架构、应用架构、信息架构相对为人了解，近年来一些企业级架构师也开始提出业务架构等概念。就数据架构而言，实践还呼唤一些理论的澄清，理论也亟需实践的反馈。关于数据架构，本公号曾用“一句话”的方式来说明，包括提.

来源：数据工匠俱乐部导语对于所有企业来说，数字化转型都是新鲜事物，都在摸着石头过河，再加上数字化转型本身是一个极其复杂的系统工程，多以企业在数字化转型的过程中难免会遇到各种问题，甚至犯各种错误，有些错误的代价非常大，企业要尽可能避免。畅销书《数字化转型方法论：落地路径与数据中台》总结了企业数字化转型过程中最致命的4个误区和3个错误，本文分享给大家。误区1：数字化转型是技术驱动的许多企业认为数字化转型是技术驱动的，事实并非如此。虽然技术在企业数字化转型过程中起着重要作用，但这不能说明..

以下文章来源于汉信咨询，作者律德启导语根据百度百科定义：数字化转型（Digital transformation）是建立在数字化转换（Digitization）、数字化升级（Digitalization）基础上， 进一步触及公司核心业务，以新建一种商业模式为目标的高层次转型。数字化转型Digital transformation是开发数字化技术及支持能力以新建一个富有活力的数字化商业模式。也就是企业的经营管理和运营绩效，可以用数字化来进行表达。所以随着现代信息技术的进步，云、网、...

文章摘自与数据同行 作者：郭东白个人读后总结了其中提到的主要观点，供大家参考：1、中台是个完全正确的方向；2、中台的挑战：（1）创新的遏制：有说法说，一个业务靠拖中台的拉拽就能编排出来了， 这不是创新是什么？事实证明这种创新完全无用。没有任何一个投资人会把自己的钱投到一个可以被大公司拖拉拽出来的商业模式。真正的创新不是现有能力的线性组合。（2）反人性：中台团队会通过强制收编前端能力来扩大自己的能力（3）过度设计：中台经常以最全的最复杂的实现来应对任何一个简单的应用场景。大量成熟行业...

以下文章来源于数据工匠俱乐部，作者杨青前言随着信息技术的不断涌现和普及，业务发展加快了数据膨胀的速度，行业内衍生了较多的新名词，如数据治理、数据管理、数据资源管理、数据资产管理等名词的定义很多，概念容易混淆，本文对这些名词术语及内涵进行系统的解析，便于读者对数据相关的概念有全面的认识。一 数据与数据管理 （Data and Data Management）1.1 数据数据（Data）是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有...

以下文章来源于腾讯研究院，作者火雪挺一件事物若能经得起时间的推敲，经得起历史的选择，回过头去看仍能矗立在长河之中，那我们通常会称它为“经典”。10年前，Pentaho公司（一家开源BI公司）的CTO詹姆斯·迪克森在他的博客中第一次提出“数据湖”（Data Lake）的概念；10年后的今天，在业界“数据中台”大火的时代背景下，再来讨论“数据湖”，应该别有一番韵味。本文将会以“数据湖”为中心，展开讨论数据仓库、数据湖和数据中台这几个概念之间的藕断丝连。一 从“数据仓库”到“数据湖”：历史...

原创傅一平与数据同行如何打造企业数据中台的评估指标体系，一方面指导企业自身的数据中台建设，另一方面为企业间数据中台的比较提供一个参考标准。1、行业实践参考第一个是DCMM。数据管理能力成熟度评价模型（Data management Capability Maturity Model 简称DCMM）是国家大数据重点标准之一，是一个综合标准规范、管理方法论、评估模型等多方面内容的综合框架，涉及8个能力域5个等级，目标是提供一个全方位组织数据能力评估的模型，如下图所示，但其缺乏对数据中台最...

来源：数据工匠俱乐部 作者：蔡春久上接前3部分内容介绍：什么是时序数据？如何治理？四 时序数据应用场景时序数据在各行各业有着广泛应用的，例如在电力行业智能电表、电网发电设备集中监测；在石油化工行业油井、运输管线运输车队的实时监测；在园区，在智慧城市实时路况、卡口数据路口流量监测,在金融行业交易记录、存取记录ATM、POS机监测，智能安防（楼宇门禁、车辆管理、井盖、电子围栏）、应急响应（消防、人群聚集、危化品、结构健康、电梯）等。时序数据在各行业应用场景1、智慧城市、能源行业智..

来源：数据工匠俱乐部 作者：蔡春久前言时序数据治理是数据治理领域核心、打通IT与OT域数据链路，是工业物联网基石、大数据价值创造的关键、企业管理提升的发动机、是数字化转型的重要支撑。工业企业在生产经营过程中，会运用物联网技术，采集大量的数据并进行实时处理，这些数据都是时序的，而且具有显著的特点，比如带有时间戳、结构化、没有更新、数据源唯一等。时序数据处理应用于智慧城市、物联网、车联网、工业互联网领域的过程数据采集、过程控制，并与过程管理建立一个数据链路，属于工业数据治理的新兴领域。...

以下文章来源于技术领导力，作者Wendy.L01 中台的起源业界有一广为流传的故事：2015年，马云带领阿里巴巴集团的高管，去芬兰的赫尔辛基对一家名叫supercell的游戏公司进行商务拜访；这一过程中，马云等人深深折服于这家被称为世界最成功的移动游戏公司的经营和管理方式，他忍不住感慨：“原来Supercell成功的秘密武器就是中台啊！”很快，这一秘密武器在阿里就开始布局。之后因阿里不遗余力大肆的宣传，加上其它互联网大厂前赴后继的跟随，“中台”这个词开始火得一塌糊涂。而最近这...

文章源于：数据观日前，腾讯研究院发布2020年“数据治理”年度报告——《规则的激荡与新生》，沿用目前业界形成共识的研究框架，从个人、产业、政府、国际四个视角，对八个核心议题：疫情下的数据治理、全球数据保护立法与监管、政务数据管理、人脸识别应用、隐私安全计算、数字广告行业、数据跨境流动、跨境执法数据调取，深度呈现在激荡和碰撞中逐步浮现的数据治理新规则。报告指出，2020年，数据治理领域展现了更多的具体行动方案。在百年未有之大变局下，为抓住历史性发展机遇，各方主动提出规则方案，积极参与全球治理，对..

文章源自数字化转型工作室，作者付晓岩企业架构目前还是个小圈子，尽管圈子中大企业不少。虽然小，但是很热闹，如同任何一个技术领域一样，为了加深理解而进行各种各样的 PK。2021 年不过一个月，从中台、数字化到低代码，像翻书一样的翻脸。好在技术圈的“瓜”成熟度一般都不高，不至于炸裂。最近在忙着适应新工作，也在忙着写各类规制化的文章，随心所欲的一直没怎么写，今天对着关于“中台”的争论小感慨下。一、认知曲线饶过谁？对方法论的争论不仅是方法论自身的需要，也是人的认知过程的局限，比如，我们经常聊的“G..

以下文章来源于与数据同行，作者傅一平Gartner 2020年发布了“”数据与分析领域的十大技术趋势”，2020年过去了，这些趋势判断到底靠谱吗？笔者没有足够的数据，没法做出权威的判断，但考虑到身处数字化水平比较高的通信行业，接触的数据技术还是比较多的，如果这些趋势靠谱，那或多或少会对我的工作产生影响，这里就来谈谈我对这些趋势的具体看法。趋势1：更智能、更高速、更负责的AI到2024年底，75%的企业机构将从人工智能（AI）试点转为AI运营，基于流数据的分析基础架构的数量将因此增加...

以下文章来源于谈数据，作者石秀峰数据质量管理是所有数据类项目重点关注的领域，从20多年前的数据仓库到如今的数据湖、数据中台，企业都试图将通过对改善数据质量来提升数据的价值。然而遗憾的是，我们看到很多企业的数据项目都是建了拆、拆了建，数据仓库还没有搞明白，就开始搞数据中台了。当然，我并不是排斥通过新的技术、新的理念。相反，我是非常乐意看到企业用尝试用新的技术和理念去创新，以提升管理和业务上的效率。但是，追求新技术、新概念的过程中不能盲目，更不能过度迷信平台和工具。数据项目还是应该..

文章来源公众号：数据治理周周谈随着全网步入大数据时代，企业的目光日益聚焦在利用大数据服务精细化营销、精细化运营上，各类客户画像、员工画像理论如雨后春笋般兴起，而数据应用的底层——数据治理，却鲜有整体的理论体系。如何避免治理工作自身“无的放矢”，如何量化数据基础建设的贡献，我们需要为数据治理工作描绘一张“数字画像”。这个命题的内涵外延非常丰富，在此我们选取用户体验、架构质量两个角度进行讨论。一用户体验的数字画像基于不同的感知角度，将用户分为外部客户、内部用户、管理层、技术人员四类，针..

以下文章来源于谈数据 ，作者石秀峰01.新技术的应用企业的数据环境越来越复杂？过去，企业也有数据，但数据处理能力单一，数据散乱，数据的价值很难充分发挥。如今，大数据时代来临，企业处理数据的能力有了大幅提升，围绕数据的业务创新，价值发掘越来越受到企业的关注和追捧。随着“ABCDT”等各种新技术的应用，人们发现企业的数据环境不是变得越来越简单了，而是变得越来越复杂了。企业存储和管理数据的方式主要有两种：数据库系统和文件系统。过去的数据库系统，多数都...