白鲸开源 DataOps 平台加速数据分析和大模型构建

作者 | 李晨

编辑 | Debra Chen

数据准备对于推动有效的自助式分析和数据科学实践至关重要。如今，企业大都知道基于数据的决策是成功数字化转型的关键，但要做出有效的决策，只有可信的数据才能提供帮助，随着数据量和数据源的多样性继续呈指数级增长，要实现这一点愈加困难。

如今，很多公司投入了大量时间和金钱来整合他们的数据。他们使用数据仓库 或数据湖来发现、访问和使用数据，并利用AI推动分析用例。但他们很快意识到，在湖仓中处理大数据仍然具有挑战性。数据准备工具是缺失的组成部分。

什么是数据准备，挑战是什么

数据准备是清理、标准化和丰富原始数据的过程。这使数据准备好应用于高级分析和数据科学用例。准备数据需要执行多项耗时的任务，以便将数据移动到数据仓库或数据湖，包括：

• 数据提取
• 数据清洗
• 数据标准化
• 数据对外服务
• 大规模编排数据同步工作流

除了耗时的数据准备步骤外，数据工程师还需要清理和规范化基础数据，否则，他们将无法理解要分析的数据的上下文，因此通常使用小批量的Excel数据来实现此目的。但这些数据工具有其局限性，首先，Excel无法容纳大型数据集，也不允许您操作数据，更无法为企业流提供可靠的元数据。准备数据集的过程可能需要数周到数月才能完成。调查发现，大量企业花费多达80%的时间准备数据，用来分析数据并提取价值的时间只有区区20%。

翻转 80/20 规则

随着非结构化数据的增长，数据工具在删除、清理和组织数据上花费的时间比以往任何时候都多。数据工程师经常会忽略关键错误、数据不一致和处理结果异常，与此同时，业务用户要求得到数据的时间越来越短，对用于分析的高质量数据的需求却比以往任何时候都大，目前的数据准备方法根本无法满足需求