Spark 子模块 SparkSQL 的缓存管理分析

最新推荐文章于 2024-04-26 15:25:18 发布

Yannick_J

最新推荐文章于 2024-04-26 15:25:18 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark SparkSQL 文章标签： SparkSql

本文链接：https://blog.youkuaiyun.com/don_chiang709/article/details/85627707

34 篇文章

订阅专栏

4 篇文章

订阅专栏

本文介绍了SparkSQL中CacheManager的工作原理及其与SparkCore缓存管理的区别。详细解析了通过InMemoryRelation和CachedRDDBuilder实现缓存的过程，并指出SparkSQL如何利用RDD的Storage.Level进行数据缓存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、前言

1.相关版本：Spark Master branch(2018.11, compiled-version spark-2.4.1)

2. SparkSQL 的CacheManager 独立于SparkCore 的 CacheManager(SparkCore的缓存管理机制详见：https://blog.youkuaiyun.com/don_chiang709/article/details/84065510文章的 Spark 子模块 Storage 的Cache Manager段落)

二、SparkSQL 的CacheManager

1. 关键的函数（cacheQuery/buildBuffers）及类(InMemoryRelation/CachedRDDBuilder/InMemoryTableScanExec)列表如下：

step１) 当用户显式／隐式调用cacheTable接口时，会先创建LinkedList里的InMemoryRelation，而InMemoryRelation由入参CachedRDDBuilder构建。

step２）当SparkPlan真正执行的时候，会调用cachedColumnBuffers检测是否缓存了，如果没有，就调用buildBuffers缓存起来。注意默认的Storage.Level是Memory_And_disk.

总结：

SparkSQL 的缓存管理最终依靠RDD的Storage.Level来缓存数据。

参考：

Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table： https://blog.youkuaiyun.com/oopsoom/article/details/39525483