spark-shell运行参数--master

最新推荐文章于 2025-05-04 14:33:27 发布

PursuitK

最新推荐文章于 2025-05-04 14:33:27 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark 大数据

本文链接：https://blog.youkuaiyun.com/BLACKLOVE7/article/details/114181952

spark 专栏收录该内容

3 篇文章

订阅专栏

博客主要介绍了spark-shell命令的使用。直接运行该命令采用默认配置，添加参数的命令中，–master配置的是spark默认资源管理和调度框架，端口号指定资源存储位置。还提到若文件不在指定端口根目录会报错，使用本地资源修改命令即可。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark-shell

如果直接使用spark-shell命令直接运行，那么它的一切参数都使用的是默认配置,例如:

#资源存储的位置，默认为本地，以及使用什么调度框架 ，默认使用的是spark内置的资源管理和调度框架Standalone 
#local单机版，只占用一个线程,local[*]占用当前所有线程
--master 默认为 local[*] 
#默认使用集群最大的内存大小
--executor-memorty
#默认使用最大核数
--total-executor-cores

spark-shell [options]

spark-shell --master spark://端口号:7077 --executor-memory 1g --total-executor-cores 1

上面命令是加了部分spark-shell运行参数的，主要是–master配置的是spark默认的资源管理和调度框架,而端口号:7070则是在命令里面使用的资源存储位置，类似于hdfs。
例如:

sc.textFile("wc.txt").map(_.split(",")).collect

wc.txt文件必须在端口号:7077的根目录下存在，如果不存在，会报如下错误:

Caused by: java.io.FileNotFoundException: File file:/root/wc.txt does not exist
  at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)
  at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:824)
  at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:601)
  at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:421)
  at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:142)
  at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:346)
  at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:769)
  at org.apache.hadoop.mapred.LineRecordReader.<init>(LineRecordReader.java:109)
  at org.apache.hadoop.mapred.TextInputFormat.getRecordReader(TextInputFormat.java:67)
  at org.apache.spark.rdd.HadoopRDD$$anon$1.liftedTree1$1(HadoopRDD.scala:251)
  at org.apache.spark.rdd.HadoopRDD$$anon$1.<init>(HadoopRDD.scala:250)
  at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:208)
  at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:94)
  at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
  at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
  at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
  at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
  at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
  at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
  at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
  at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
  at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
  at org.apache.spark.scheduler.Task.run(Task.scala:109)
  at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:338)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)

如果要使用本地的资源，改下命令就OK。

spark-shell --master local[*] --executor-memory 1g --total-executor-cores 1