21、数据存储与处理：从数据库到湖仓一体的演进

数据存储与处理：从数据库到湖仓一体的演进

1. 数据库 SQL 工作负载分类

数据库上的 SQL 工作负载大致可分为两类：
- 在线事务处理（OLTP）工作负载 ：类似于银行账户交易，通常是高并发、低延迟的简单查询，一次读取或更新少量记录。
- 在线分析处理（OLAP）工作负载 ：如定期报告，通常是复杂查询（涉及聚合和连接），需要对大量记录进行高吞吐量扫描。

需要注意的是，Apache Spark 主要是为 OLAP 工作负载设计的查询引擎，而非 OLTP 工作负载。

2. 使用 Apache Spark 读写数据库

得益于不断发展的连接器生态系统，Apache Spark 可以连接到各种数据库进行数据读写。
- 有 JDBC 驱动的数据库 ：对于有 JDBC 驱动的数据库（如 PostgreSQL、MySQL），可以使用内置的 JDBC 数据源以及相应的 JDBC 驱动 jar 包来访问数据。
- 其他现代数据库 ：对于许多其他现代数据库（如 Azure Cosmos DB、Snowflake），有专门的连接器，可以使用相应的格式名称调用。

3. 数据库的局限性

随着大数据的发展，数据库在适应新趋势方面存在不足，主要体现在以下两个方面：

3.1 数据规模增长

随着大数据的出现，行业中存在一种全球趋势，即测量和收集一切信息（如页面浏览量、点击量等），以了解趋势和用户行为。因此，任何