18、数据处理的常见步骤与优化策略

数据处理的常见步骤与优化策略

1. 数据处理管道概述

数据处理管道可分为常见数据处理管道和自定义业务逻辑管道。常见的数据转换处理步骤主要包括文件格式转换、数据去重和数据质量检查。

2. 文件格式转换

数据可能以不同格式进入平台，如 CSV、JSON、XML 文件或自定义二进制格式。传统数据湖方法是将处理不同数据格式的责任推给每个管道，这在管道数量增加时难以扩展，且会使数据探索变得复杂。现代数据平台设计采用更有组织和结构化的方法，将所有传入数据转换为统一文件格式，同时保留原始格式存入存档区。具体使用 Apache Avro 用于暂存区，Apache Parquet 用于生产区。

2.1 Avro 和 Parquet 文件格式

Avro 和 Parquet 都是二进制文件格式，与文本格式（如 CSV、JSON 和 XML）不同，它们需要特殊程序进行解码和编码。二进制文件格式相比文本格式有以下优势：
- 节省磁盘空间 ：在数据编码过程中可应用不同优化，包含列类型信息，能实现更好的文件压缩，数据大小最多可缩减至原始的十分之一，降低云存储成本并加速数据处理管道。
- 强制使用特定模式 ：在保存数据前需定义列和列类型，Avro 文件格式将模式嵌入每个文件，便于程序自动识别列名和类型。虽然模式和文件格式标准化需要额外开发和维护工作，但在处理多个管道或向不同数据消费者公开数据时，收益显著。

2.2 行导向和列导向文件格式

• 行导向文件格式 ：如 CSV，单条数据行的所有信息保存在连