Spark的输出提交控制器OutputCommitCoordinator

最新推荐文章于 2024-07-22 15:35:44 发布

九师兄

最新推荐文章于 2024-07-22 15:35:44 发布

阅读量3k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark 文章标签： spark Output Commit Coordinato

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/78662063

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了Spark中OutputCommitCoordinator的使用，该组件在SparkEnv初始化时创建，其具体作用可能不太为人所知。欢迎了解详情并参与讨论。

1.美图

在这里插入图片描述

2.概述

1。这个类在SparkEnv初始化的时候，创建，具体作用不是很详细，有知道的请评论补充

// =======================创建输出提交控制器OutputCommitCoordinator====================================================
    val outputCommitCoordinator = mockOutputCommitCoordinator.getOrElse {
   
   
      new OutputCommitCoordinator(conf,