本文详细介绍了数据中台的各个方面，包括数据汇聚、数据采集工具、离线与实时开发、智能运维、数据体系构建、数据资产管理、数据治理以及数据服务体系。重点探讨了数据权限管理、查询服务、分析服务、推荐服务和圈人服务的实现，同时阐述了离线平台和实时平台的架构与应用场景。通过对不同行业案例的分析，展示了数据中台在零售、证券、地产等领域的应用，为企业数据资产的管理和价值挖掘提供了全面的解决方案。
数据中台
数据汇聚
数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。
数据采集工具
Canal、DataX、Sqoop
数据开发
数据开发模块主要面向开发人员、分析人员，提供离线、实时、算法开发工具。
离线开发
作业调度
•依赖调度：所有父作业运行完成后，当前作业才能开始运行。图64中的作业B，只有父作业A和C运行完成后，才能开始被调度。•时间调度：可指定作业的调度开始时间。图64中的作业B，只有到达05：00后才能开始被调度。
基线控制
在大数据离线作业中，作业执行时间较长，经常遇到急着用数据发现数据还没出来的情况。采用算法对作业完成时间进行智能预测，根据预测，当作业无法正常产出且动态调整无法完成时，调度中心会及时通过监控告警通知运维值班人员提前介入处理，为大数据作业执行留出充裕的时间。
异构存储
订阅专栏 解锁全文
扫一扫
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
