20、高效数据加载与存储模式解析

高效数据加载与存储模式解析

1. 数据加载策略的重要性

在现代数据驱动的解决方案中，数据加载策略至关重要。高效的数据加载不仅意味着以高效的方式将数据写入目标系统，还意味着设计出需要最少人工干预的模式，构建一个具有弹性的解决方案，使其在出现故障后能自动恢复，无需手动干预。
常见的数据加载来源主要有以下几类：
- 平面文件：通常由第三方系统提供，甚至由用户手动提供。
- REST API：常用于软件即服务（SaaS）产品或第三方 Web 服务。
- 关系型或非关系型数据库：数据库是专门为编程式数据访问而设计的，是首选的数据加载方式。
- 数据流：全天都处于负载状态，因此需要流处理模式而非批量加载模式。

制定数据加载策略时，还应考虑数据保留问题。数据保留指的是确定应用程序需要哪些数据、以何种粒度保留多长时间。例如，在物联网（IoT）应用中，将亚秒级分辨率的原始传感器数据存储在关系数据库中，会导致数据量巨大，成本高昂且数据库性能不佳。可以选择存储最近两小时的亚秒级数据，之后按小时聚合数据并存储一个月，最后按天聚合存储。同时，将原始数据存储在数据湖或冷数据存储中，避免用不必要的细粒度数据使关系数据库变得杂乱。

2. 平面文件的数据加载模式

如果数据来源是文件，有几种加载模式可供选择，具体取决于平面文件的来源（是机器生成还是人工编写）以及它们如何交付给应用程序。
- 机器生成的平面文件 ：例如从数据库或其他第三方系统导出的 CSV 文件。这些文件通常按固定计划生成，因此处理过程可以按固定计划触发。并且，这些文件不应偏离数据契约。如果从数据库导出，它们必须符合该数据库的结构