spark参数

数道难

于 2018-07-06 17:07:00 发布

阅读量322

点赞数

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/u013303361/article/details/80362252

版权

spark 专栏收录该内容

42 篇文章

订阅专栏

本文介绍了如何在Spark应用程序中设置参数，包括通过spark-submit命令行工具提交应用时的配置选项，以及在Spark程序内部进行参数设置的方法。同时，文中还提供了Maven依赖库的源地址选择建议，帮助开发者更好地管理项目的依赖。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark提交参数：

http://spark.apache.org/docs/latest/submitting-applications.html

spark程序里设置参数

http://spark.apache.org/docs/latest/configuration.html

pom的url:

<url>http://maven.aliyun.com/nexus/content/groups/public</url>
<url>https://repository.cloudera.com/artifactory/repo/</url>
或者写成
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
默认是下面这个官网的，可能有些依赖没有：
https://repository.apache.org/content/repositories/ ——（这里注意区分releases/和snapshots/版本）

jvm参数：

https://www.e-learn.cn/content/qita/660056

可能要结合这个：

http://spark.apache.org/docs/latest/configuration.html

https://blog.youkuaiyun.com/renfufei/article/details/76350794