第42课： Spark Broadcast内幕解密：Broadcast运行机制彻底解密、Broadcast源码解析、Broadcast最佳实践

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/72857627

本文深入探讨Spark的Broadcast机制，揭示其如何提高效率，避免重复数据传输。讲解Broadcast的运行原理，源码分析及在Spark中的应用，包括广播变量的只读特性、内存管理及不同版本的实现方式。并提供了最佳实践指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第42课： Spark Broadcast内幕解密：Broadcast运行机制彻底解密、Broadcast源码解析、Broadcast最佳实践

Broadcast在机器学习、图计算、构建日常的各种算法中到处可见。 Broadcast就是将数据从一个节点发送到其它的节点上；例如Driver上有一张表，而Executor中的每个并行执行的Task（100万个Task）都要查询这张表，那我们通过Broadcast的方式就只需要往每个Executor把这张表发送一次就行了，Executor中的每个运行的Task查询这张唯一的表，而不是每次执行的时候都从Driver获得这张表！

JAVA中的Servlet里面有个ServletContext，是JSP或Java代码运行时的上下文，通过上下文可以获取各种资源。Broadcast类似于ServletContext中的资源、变量或数据，Broadcast广播出去是基于Executor的，里面的每个任务可以用上下文，Task的上下文就是Executor，可以抓取数据。这就好像ServletContext的具体作用，只是Broadcast是分布式的共享数据，默认情况下只要程序在运行Broadcast变量就会存在，因为Broadcast在底层是通过BlockManager管理的！但是你可以手动指定或者配置具体周期来销毁Broadcast变量！可以指定Broadcast的unpersist销毁Broadcast变量，因为Spark应用程序中可能运行很多job，可能一个job需要很多Broadcast变量，但下一个job不需要这些变量，但是应用程序还存在，因此需手工销毁Broadcast变量。

Broadcast一般用于处理共享配置文件、通用的Dataset、常用的数据结构等