【华为数据之道学习笔记】3-8以确保合规遵从为核心的外部数据管理

一、以确保合规遵从为核心的外部数据管理

        外部数据是指华为公司引入的外部组织或者个人拥有处置权利的 数据，如供应商资质证明、消费者洞察报告等。外部数据治理的出发点是合规遵从优先，与内部数据治理的目的不同。

        外部数据的治理主要遵循以下原则。

        1） 合规优先原则： 遵从法律法规、采购合同、客户授权、公司信息安全与公司隐私保护政策等相关规定。

        2） 责任明确原则： 所有引入的外部数据都要有明确的管理责任主体，承担数据引入方式、数据安全要求、数据隐私要求、数据共享范围、数据使用授权、数据质量监管、数据退出销毁等责任。

        3） 有效流动原则： 使用方优先使用公司已有数据资产，避免重复采购、重复建设。

        4） 可审计、可追溯原则： 控制访问权限，留存访问日志，做到外部数据使用有记录、可审计、可追溯。

        5） 受控审批原则： 在授权范围内，外部数据管理责任主体应合理审批使用方的数据获取要求。

        在以上原则指导下，我们要求所有采购的外部数据要注册，在合规的前提下鼓励数据共享，避免重复采购。其他方式引入的外部数据，由管理责任主体决定登记方式。根据法律条款和授权范围，外部数据管理责任主体有权决定外部数据是否入数据湖，如果需要入数据湖，必须遵从数据湖建设相应的流程和规范。同时，外部数据管理责任主体有义务告知使用方合规使用外部数据，对于不合规的使用场景，不予授权；数据使用方要遵从外部数据管理责任主体的要求，对不遵从要求所引起的后果承担责任。

二、外部数据服务的难题

        从外部数据接入慢、到满足不同业务调用需求重复开发，工作量大，再到数据服务灵活性差，缺少统一的数据标准、缺乏体系化数据管理等，这些数据服务的难题，可以总结为以下三点：

        外部数据接入慢：外部数据渠道众多，各厂商数据标准不统一，数据参差不齐，内部多业务部门各自引入，开发内容重复，工作量大，无法快速响应业务部门的需求。

        数据服务周期长：外部数据接入管理无标准流程，未统一存储，多种数据源类型、不同厂商来源的外部数据本地化存储的任务重复开发。各业务系统服务查询需求不一致，需要通过开发、测试与上线的长周期研发流程，数据服务维护的灵活性差。

        外部数据共享难：缺乏外部数据统一管理，无法快捷的将已落地数据转化成服务，缺乏统一的数据服务集市，无法提供数据服务目录查询入口，自助申请、开通数据权限，在线测试、查看文档及管理应用，便捷共享数据服务。

三、外部数据管理的解决方案

        打通数据应用最后一公里 开箱即用

        “敏捷化” 成为一个高频词，外部数据管理平台化，有效降低业务研发成本、减少运转时间，提高业务效率，去除不必要的流程和障碍，真正实现组织的敏捷、技术的敏捷、服务的敏捷。

        科技的创新让上述提到的几个难点在当下从理论策略到技术支持都可以找到破解之道：

1. 零代码数据接入

        内置多个外部数据厂商的API接口模板，满足不同需求，开箱即用；零代码、低代码模式完成数据接口的开发和测试，避免重复性开发，最快1分钟完成外部数据接入。

2. 数据服务更敏捷

        无需编码，将多个外部数据厂商间的接口进行任意组合，跨厂商实现串行、并行，树型等DAG接口调用，快速发布服务满足不同业务的需求，轻松实现内部服务创新实践。

3. 数据开放互联互通

        数据资源统一共享，自助浏览，自助完成审批申请及应用权限配置，即便在数据主题中也可以通过综合检索，便捷、快速的找到需要的数据。

4. 外部数据即用即存

        外部数据接口调用之后及时通过数据流水线完成流式入库，即用即存储。在线可视化流水线设计快速完成离线、在线的数据落地流程编排，数据资产跟踪统计清晰可见。