Spark中，分享Java和Scala APIs

最新推荐文章于 2021-04-29 10:43:57 发布

原创最新推荐文章于 2021-04-29 10:43:57 发布 · 1k 阅读

CC 4.0 BY-SA版权

51 篇文章

订阅专栏

8 篇文章

订阅专栏

8 篇文章

订阅专栏

本文介绍了如何使用SparkContext进行基本操作，包括添加jar包和文件、停止SparkContext等。通过这些操作，用户可以更好地管理和控制Spark应用程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一旦你有了一个SparkContext，它将服务作为你的主入口点。您能够使用SparkContext实例来发布更多的Spark工作，并且添加或者删除依赖。你能够使用非数据驱动的方法，这些方法如下所示：

addJar(path)	为后来的job工作添加jar文件这将贯穿于SparkContext实例中。
addFile(path)	下载这个路径的文件到集群中的所有的节点中。
stop()	关闭SparkContext连接。
clearFiles()	删除文件，以便于新的节点不会加载它们。
clearJars()	删除未来的工作jobs所需要的jar包。