qq_25409421的博客

数据集是算法建模过程中不可或缺的原材料。由于企业业务场景的复杂性，算法开发过程需要管理并整合不同来源的数据，同时对数据集进行标注和可视化探查，使数据的使用更高效，简化建模流程。作为统一维护数据集的场所，数据集管理需要考虑的功能点如下。为了提高可用性和降低使用门槛，主流机器学习平台都会提供内置的机器学习算法组件，覆盖从数据接入、数据预处理、特征工程、模型训练到评估和导出的完整算法建模过程，辅助用户高效完成复杂的业务建模。机器学习框架涵盖用于分类、回归、聚类、异常检测和数据准备的各种学习方法。

离线开发套件封装了大数据相关的技术，包括数据加工、数据分析、在线查询、即席分析等能力，同时将任务的调度、发布、运维、监控、告警等进行整合，让开发者可以直接通过浏览器访问，不再需要安装任何服务，也不用关心底层技术的实现，只需专注于业务的开发，帮助企业快速构建数据服务，赋能业务。随着数据的应用场景越来越丰富，企业对于数据价值反馈到业务中的时效性要求越来越高，很早就有人提出过一个观点：数据的价值在于数据的在线化。实时开发套件是对流计算能力的产品封装。实时计算起源于对数据加工时效性的严苛需求：数据的业务价值随着时间

数据开发是数据资产内容建设的主战场，是数据价值生产过程中的核心环节，可以支撑大批量数据的离线处理、实时处理和数据挖掘等。业务沉淀的数据就像原始的矿石或商品的原材料，数据开发这个环节就像是“商品”生产的流水线，通过这条流水线将数据转换成数据资产，让数据能根据业务的需求转换成新的形态，将原本看起来没有价值的数据变成对业务有价值的资产，为前端业务源源不断提供其所需要的“商品”。数据开发涉及的产品能力主要包括3个部分，分别是离线开发、实时开发和算法开发等内容。

DT时代，企业的数据生产方式越来越丰富，数据量越来越大，怎么做存储技术选型成为了摆在我们面前需要解决的问题，也是我们需要提前考虑的事情；那么，我们在做技术选型时需要明确哪些问题呢？需要考虑哪些方面的问题？技术选型时需要考虑哪些场景？比如在线和离线？OLTP与OLAP？存储技术涉及哪些具体技术呢？比如分布式存储？NoSQL？关系数据库？云数据库？数据湖？以上种种问题和场景考量，都能在我的这篇文章中找到答案，来吧，我们一起来看下这篇文章！

应用哪种模式进行数据汇聚，主要依据业务应用的需要。汇聚数据模式主要分为以下两种。基于不同数据汇聚需求、硬件成本及网络带宽要求，可以选择不同的汇聚数据方法。这里的汇集方法主要有ETL、ELT两种。在数据能力建设过程中，很多企业结合自身的场景和最佳实践开源了一些优秀的汇聚工具，如Flink CDC、Canal、Sqoop、DataX等，这些工具的适用场景不同，也各有优缺点。

线上行为的主要载体可以分为传统互联网和移动互联网两种，对应的形态有PC系统、PC网页、H5、微信小程序、App、智能可穿戴设备、物联网传感设备等。在技术上，数据采集主要有客户端埋点和服务端埋点两种方式。其中客户端埋点主要通过在终端设备内嵌入埋点功能模块，通过模块提供的能力采集客户端的用户行为，并上传回行为采集服务端。线下行为数据主要通过Wi-Fi探针、摄像头、传感器等硬件采集。随着设备的升级，各种场景中对智能设备的应用越来越多，安防、客户监测、考勤等开始深入人们的工作和生活。

通过前面对数据中台建设方法论体系的介绍，我们了解了数据中台的战略行动、保障条件、目标准则、建设内容和关键步骤，这一节我们将了解数据中台的总体架构、包含的功能模块、功能模块之间的关系以及运转机制。数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种业务应用能力，让数据更方便地被业务所使用。下图所示为数据中台的总体架构图：数据中台是位于底层云基础底座与上层业务应用之间的一套体系，包括数据汇聚、数据开发、数据体系、数据资产管理、数据应用以及数据运营体系和数据安全管理。

数据中台概念自诞生以来持续保持行业热度，但是目前为止对于数据中台并没有统一、标准的定义。认为数据中台是云平台的一部分，同时包括业务中台和技术中台。认为数据中台是数据+技术+产品+组织的组合，是企业开展新型运营的一个中枢系统。认为数据中台可以理解为企业的最核心的数据大脑，是一种理念、一种思维，是一种面向未来的架构。认为数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合认为数据中台是“计算平台+算法模型+智能硬件”，不仅有云端，还需要智能设备帮企业在终端收集线下数。

如果说数据标准化体系建设是实现数据资产化的基础，那么统一数据模型建设是实现数据资产化的最有效的关键举措。在说明统一数据模型的价值之前，先介绍目前数据资产化的一些困境。统一数据模型的主要目标是构建一套完整的面向主题的数据仓库模型，实现数据的汇聚、集成、分层和持久化，高效支持企业的各种大数据应用场景（比如，数据报表、数据查询、数据分析、数据建模等）的高质量数据需求。统一数据模型主要包含以下工作。目前，有很多成熟的方法论用于指导如何构建统一数据模型。