字节跳动一站式数据治理思考及实践

动手点关注

干货不迷路

导读：今天的分享主要分四个部分：机遇与挑战、数据治理思路、技术架构演进以及未来展望

1. 机遇与挑战

数据治理工作有很多挑战，最主要的一点是落地比较困难。

首先，治理工作中与业务有一定的矛盾。

第二，治理涉及的组织和管理难度大。

第三，规范“人”的动作难度大，治理过程中，需要依靠人来推进和执行，人员能力参差不起，组织文化、目标也存在不对齐的情况。

第四，缺乏适配性强的产品工具。因为治理工作范围广，链路长，并且涉及跨部门、跨系统的目标对齐，需要一个完备的产品平台。

下面结合字节的特点，介绍数据治理工作的机遇和挑战。

• 字节文化

首先，字节业务多，多业务齐头并进发展，需要快速响应业务需求；

第二，字节的 OKR 文化，使得每个人都可以参与数据治理的规划和策略的制定，并且主动寻找实现路径，快速对齐；

第三，为追求高效治理，没有设立统一的数据治理委员会，而是各个部门根据各自的业务情况进行治理。

• 业务第一

字节业务规模大，并且以数据作为驱动构建闭环的产品较多，导致数据质量对业务的影响非常大。

综上所述，数据治理在字节是挑战机遇与并存的工作。

2. 数据治理思路

2.1  新型数据治理 - 分布式数据自洽

针对上述问题，提出了分布式数据自治的思路, 综合考虑治理收益、业务影响，执行效率。

首先，业务影响方面，为保证影响小，治理工作按照业务单元进行。一个业务单元可能是一个小团队或者小项目，作为数据治理的范围和目标。

第二，需要沉淀各业务线的治理经验，提升治理效率；通过产品辅助业务自驱，实现规则化、策略化、自动化治理。通过工具等平台能力，降低治理门槛。并且支持灵活的治理方式，如管理者视角，自上而下规划性治理，和一线执行者视角，自下而上推动治理。

第三，需要适配性强，建设产品来覆盖治理全链路。

实现多种场景中，产品都有能力覆盖，多个模块可以独立使用，按需组合；并且提供完整的开发能力，支持业务根据自身特点和发展阶段，自行接入。

2.2  集中式 VS 分布式

分布式治理，与传统集中式治理相比，有很多优势。

• 集中式治理，需要制定制度进行大范围组织，划分权责，定期抽查考核，建设周期长，适配能力弱，并且组织投入多。

• 分布式自治，业务影响小；周期短，见效快；效率高，节省人力；便于算清对业务的收益，降低成本。

3