spark实践

最新推荐文章于 2025-05-05 21:57:29 发布

dlphay

最新推荐文章于 2025-05-05 21:57:29 发布

阅读量7.3w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark 大数据文章标签： spark hadoop hdfs 实践大数据

本文链接：https://blog.youkuaiyun.com/dlphay/article/details/98389213

大数据同时被 2 个专栏收录

11 篇文章

订阅专栏

Spark

5 篇文章

订阅专栏

本文档提供了Spark的官方资源链接，同时分享了在Windows环境下配置Java和JDK的教程，以及使用IDEA开发Scala Spark的入门示例和在window7上进行Spark调试的方法，适合初学者进行Spark的实践操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最权威的官网：http://spark.apache.org/

--master	 // master 的地址，提交任务到哪里执行，例如 spark://host:port,  yarn,  local
--deploy-mode	 // 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client
--class	 // 应用程序的主类，仅针对 java 或 scala 应用
--name	 // 应用程序的名称
--jars	 // 用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下
--packages	 // 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标
--exclude-packages	 // 为了避免冲突 而指定不包含的 package
--repositories	 // 远程 repository
--conf PROP=VALUE	
 // 指定 spark 配置属性的值，
 // 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"

--properties-file	 // 加载的配置文件，默认为 conf/spark-defaults.conf
--driver-memory	 // Driver内存，默认 1G
--driver-java-options	 // 传给 driver 的额外的 Java 选项
--driver-library-path	 // 传给 driver 的额外的库路径
--driver-class-path	 // 传给 driver 的额外的类路径
--driver-cores	 // Driver 的核数，默认是1。在 yarn 或者 standalone 下使用
--executor-memory	 // 每个 executor 的内存，默认是1G
--total-executor-cores	 // 所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
--num-executors	 // 启动的 executor 数量。默认为2。在 yarn 下使用
--executor-core	 // 每个 executor 的核数。在yarn或者standalone下使用

----------------------------------------------------- 持续更新 -----------------------------------------------------------------

Windows-Java-JDK的安装与配置：https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

IDEA – Scala语言开发Spark—demo：https://www.jianshu.com/p/ae6f227e68a4

window7上的IDEA调试spark：https://www.youkuaiyun.com/gather_22/MtTaYg4sMzU1OC1ibG9n.html

spark小demo配置与运行（star）：https://blog.youkuaiyun.com/mojir/article/details/90764249