博客探讨了在Spark用户定义函数(UDF)中尝试访问SparkConf遇到的问题，由于sparkcontext无法序列化，导致在worker节点无法直接获取。文章指出，SparkConf信息只能在driver端读取，而不能在执行UDF的工作节点上使用。作者提供了相关参考链接，讨论了这一限制及其影响。
近期有需求，在 SPARK 的 UDF 中调用 SPARK 环境变量，即 SparkConf 中的信息。通过查找资料，发现spark context 无法序列化，只能在 driver 中读取，不能在运行UDF的worker中获得，因此无法完成。
参考网站
how-can-use-sqlcontext-in-spark-udf
spark-read-doesnt-work-inside-scala-udf-function
SPARK UDF 无法使用 context
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
