spark基础知识（一）spark submit的提交参数

最新推荐文章于 2025-08-10 20:32:38 发布
原创 最新推荐文章于 2025-08-10 20:32:38 发布 · 287 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在生产环境中正确配置Spark应用，包括指定Master节点、加载必要的JAR包及依赖库等关键步骤。针对生产环境特有的依赖问题，文章提供了具体的解决办法。

1、因为生产环境的环境依赖不够，需要单独引用参数设置

./spark-submit 
--master spark://ip:7077 #如果时本地模式，用local[n] ,n>1
--class com.ec.SparkConsumer  \
--jars $(echo /home/rowen/libs/*.jar | tr ' ' ',') \  #批量引用环境需要的jar包
--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 \ #因为生产环境没对应jar,所以用引用的依赖的gav坐标，让程序去远程仓库寻找。要求环境联网
Spark任务提交 第1关：spark-submit提交
qq_61604164的博客
01-13 3258
Spark任务提交 第1关：spark-submit提交
spark-submit 主要参数详细说明及Standalone集群最佳实践
日常学习与专研的记录
03-26 1705
部署提交应用到 spark 集群，可能会用到 `spark-submit` 工具，鉴于网上的博客质量残差不齐，且有很多完全是无效且错误的配置，没有搞明白诸如`--total-executor-cores` 、`--executor-cores`、`--num-executors`的关系和区别。因此有必要结合官网文档 [submitting-applications](https://spark.apache.org/docs/latest/submitting-applications.html) 详细记录
Spark源码系列（一）spark-submit提交作业过程
01-30
折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。这个是提交到standalone集群的方式，打开spark-submit这文件，我们会发现它最后是调用了org.apache.spark.deploy.SparkSubmit这个类。我们直接进去看就行了，main函数就几行代码
spark-submit 参数
杜海的博客
12-11 4160
1、基础： spark基本的提交语句： ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <ap...
Spark入门基础知识
m0_52050252的博客
04-18 1857
Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作。--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
Scala基础(12)Spark命令参数及独立应用程序
01-20
在本文中，我们将深入探讨Scala中Spark的基础知识，特别是关于Spark命令参数和独立应用程序的创建。 首先，我们来看一个关键的命令行参数`--master`。此参数用于指定Spark应用程序应该连接到哪个Master节点。如果...
Spark基础知识
最新发布
weixin_44352372的博客
08-10 375
Apache Spark是一个开源的分布式计算框架，旨在提供一个快速、通用和易用的大数据处理平台。通过支持内存计算，Spark能够显著优化迭代算法的执行速度和交互式数据查询的响应时间，相较于传统的MapReduce计算模型，在某些场景下其处理速度可提升数十倍。：基于内存计算，比 Hadoop MapReduce 快 10-100 倍：支持 Java、Scala、Python 和 R 等多种语言：提供 SQL、流处理、机器学习和图计算等多种功能：可处理 PB 级数据，运行在数千节点集群上。
Spark
小道的博客
12-10 3991
Spark知识点
掌握Spark-submit：部署与应用提交指南
Spark-submit是Apache Spark项目中的一个重要组件，用于在集群上提交、管理和监控Spark应用程序的执行。它允许用户轻松地在Hadoop分布式文件系统（HDFS）上运行大规模的数据处理任务，无需详细了解底层的集群配置和...
SparkSubmit提交参数（日常版）
攻城狮Kevin
06-03 544
--master yarn --deploy-mode cluster --queue XXXX --name ${spark_job_name} --executor-memory 8G --num-executors 32 --executor-cores 4 --conf spark.yarn.executor.memoryOverhead=4G --conf "spark.driver.extraJavaOptions=-Dlog4jspark.root.logger=WARN,console" .
spark-submit任务提交参数说明
zhangsq1319
04-17 801
1、任务提交实例 #!/bin/bash echo "|--------------------------------------开始提交任务 NewKafka2Hbase---------------------------------------" echo "|提交开始时间："$(date "+%Y-%m-%d %H:%M:%S") /home/app/spark-2.1.1/bin...
Spark-submit参数说明
L, there!
06-25 2362
spark-submit [--options] <app jar | python file> [app arguments] 参数名称 含义 --masterMASTER_URL 可设置模式如： spark://host:port mesos://host:port yar...
spark submit参数
念念的博客,记录学习的点点滴滴！
03-02 596
linux执行jar包命令 java -jar XXXX.jar submit参考 ./bin/spark-submit –class com.ws.spark.Test.WordCount –master spark://192.168.0.21:7077 –executor-memory 4G –total-executor-cores 6 /root/WordCount.jar...
spark-submit 相关参数
frogbar的博客
01-23 675
spark-submit 相关参数 master url: local: 使用1个worker线程在本地运行Spark程序 local[k]: 使用k个worker线程在本地运行Spark程序 local[*]: 使用所有剩余worker线程在本地运行Spark程序 spark://HOST:PORT: 连接到Spark Standalone集群,以便在该集群上运行Spark应用
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
あずにゃん梓喵的博客
07-19 7150
Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...
spark-submit 详细参数说明
weixin_43946446的博客
03-05 287
2. spark-submit 详细参数说明 参数名 参数说明 --master  master 的地址，提交任务到哪里执行，例如 spark://host:port,  yarn,  local --deploy-mode  在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client --class ...
spark-submit使用及说明
weixin_34104341的博客
09-21 677
为什么80%的码农都做不了架构师？>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值