spark2.1.1yarn模式下，运行自带example的异常

最新推荐文章于 2025-06-04 09:21:30 发布
最新推荐文章于 2025-06-04 09:21:30 发布
阅读量1.4k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： spark2.1.1yarn模式运行出问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_40889431/article/details/80201413
博主尝试使用Spark运行计算圆周率的例子时遇到问题，具体表现为无法通过yarn部署到集群模式。错误日志显示可能与spark-env.sh配置及yarn-site.xml设置有关。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

运行spark自带的计算圆周率example

spark-submit  --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.1.1.jar

错误日志如下


spark-env.sh 设置如下


hadoo   yarn-site.xml配置信息如下


有人搭建环境碰到过这个问题吗  T T    咋解决啊  我试了各种方法  是配置文件有问题吗

Meteora_wyz
关注
idea里运行Spark1.6 Example
Love-Coding
03-03 1873
http://blog.csdn.net/guotong1988/article/details/50549329 首先参考这个编译源码并导入idea然后在run configuration里取消run之前的make然后跑一个SparkPi.scala，会报一些ClassNotFound的错，这时在Examples文件夹右键–> open module settings –> 把相应的Depend
（超详细）Spark on Yarn安装配置
数据爬坡ing的博客
01-07 2140
（超详细）Spark on Yarn安装配置，附有详细步骤，详细代码，注意事项提示
spark运行example时遇到的问题
B11050101的博客
10-22 1212
运行spark自带的demo： 1、提交到client bin/spark-submit --master spark://ip:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g lib/spark-examples-1.6.0-hadoop2.6.0.jar spark报错如下： Exception ...
关于spark作业提交：spark运行example为例
赣江
09-18 1万+
示例：yarn-cluster提交： spark-submit --master yarn --deploy-mode cluster --executor-memory 2G --executor-cores 2 --queue root.helowin --class org.apache.spark.examples.SparkPi spark-examples-1.6.3-hadoop2...
Spark运行模式
最新发布
走过冬季
06-04 968
目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是。是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是。
spark学习1之examples运行
Keep Learning
09-18 6753
spark的examples运行： spark1.4.1 1. spark-submit： hadoop@Master:~/cloud/spark-1.4.1$ spark-submit --master local examples/src/main/python/pi.py 10 Pi is roughly 3.142524
spark下载安装，运行examples(spark一)
dingxiaohuang4790的博客
09-17 1722
1.官方网址 http://spark.apache.org/ image.png 2.点击下载 下载最新版本目前是（2.4.3）此spark预设为hadoop2.7或者更高版本，我前面安装的是hadoop3.1.2后面试一下不知道兼容不具体地址：http://spark.apache.org/downloads.html image.png ...
Spark运行架构以及容错机制
李姓门徒
01-23 1598
spark是一个开发框架，用于进行数据批处理，本文主要探讨Spark任务运行的的架构。由于在日常生产环境中，常用的是spark on yarn 和spark on k8s两种类型的模式，因此本文也主要探讨这两种类型的异同，以及不同角色的容错机制。
Spark自带求π的算法：蒙特卡洛算法
qq_33265875的博客
05-03 1615
标题Spark自带求π的算法：蒙特卡洛算法 ** 1.在我们对spark集群进行压力测试时，通常会选择spark自带计算π的类来进行测试，那么spark内部到底是如何求π的呢？我们这里先上一段测试脚本： ** bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cl...
Spark的安装部署以及程序测试
weixin_43520450的博客
05-09 1036
一、Spark的体系结构与安装部署 1.1 Spark集群的体系结构 官方的结构图： 更详细的结构图： 1.2 Spark的安装与部署 Spark的安装部署方式有以下几种模式： Standalone YARN Mesos Amazon EC2 （1）Spark Standalone伪分布的部署 配置文件：conf/spark-env.sh export JAVA_HOME=/root/training/jdk1.7.0_75 export SPARK_MASTER_HOST=spark81 expo
Hadoop、Spark和Hive调优优化原理
AI天才研究院
08-03 1255
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
shell-spark-example:创建示例 spark 命令的应用程序，这些命令在 spark 集群上的节点之一的 shell 上运行。 教育的
07-02
创建此应用程序是为了学习 spark 和使用 github/开源项目 使用 Spark API 编写 Spark 应用程序并在集群上执行 在外壳上执行其他语言开发的 Spark 程序，如 PySpark 在命令行上执行 SparkQL 查询
spark-java-example:在Spark中运行一个简单的Java程序
05-19
Spark Java示例 运行Spark作业的命令：（可以在Spark Bin目录下运行） spark-submit --class com.techprimers.spark.App /Users/apple/Downloads/spark-java-example/target/spark-java-example-1.0-SNAPSHOT.jar --master local[3] 可在此处访问Spark UI： http://192.168.0.100:4040/ : http://192.168.0.100:4040/ : http://192.168.0.100:4040/
sparkexample
06-07
火花示例 ./spark/bin/spark-submit --master yarn-cluster --executor-memory 40g --executor-cores 32 --num-executors 2 --jars s3n://my-path/wen/libjars/argparse4j- 0.4.3.jar --class org.sparkexample.WordCountAWSJob /home/hadoop/sparkexample-0.0.1-SNAPSHOT-job-0407.jar -p AWS -in s3n://aws-publicdatasets/common-crawl/crawl-数据/CC-MAIN-2014-10/segments/1394678706211/wat/ -out s3n://my-path/wen/sparkexample_
如何在Spark源码中运行SparkExamples的例子程序
qq_35828475的博客
04-29 1073
如何在Spark源码中运行SparkExamples的例子程序 首先从github中将Spark的源码下载下来。 然后，对源码进行build mvn -DskipTests clean package build过程中会不断的下载必须的jar包，如果不能正确上网的话，会遇到各种的问题。 build完成后，运行例子程序时，出现无法找到spark-version-info.pr...
各模式下运行spark自带实例SparkPi
热门推荐
Yt_Sports的博客
12-29 2万+
此系统是ubuntu，spark版本是1.0.0（下载的不是源码，而是编译好的，在我的其他文章里有下载网盘地址），hadoop版本2.2.0，scala版本2.10.4 1.spark-sunbmit命令：spark1.0之前的版本运行自带例子使用$SPARK_HOME/bin/run-example命令，对于spark1.0以后做出了改进，使用$SPARK_HOME/bin/spark
Spark自带example
u012667450的博客
04-28 4534
Spark自带examples案例 1.SparkPi 在SPARK_HOME目录下运行如下命令： bin/run-example org.apache.spark.examples.SparkPi 结果如下图所示： 到此，案例成功运行，运行结果为：Pi is roughly 3.1402157010785055 2.others 其他案例也是类似，注意两个问题： 必须是run-example命令。 确定类名。 类名可以在SPARK_HOME目录下的examples/src/main/scala/
提交案例到YARN上运行
孤独的博客
08-18 445
其实在hadoop里面有丰富的测试案例可以提供给我们测试。 在hadoop的share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar 里面 之后开始测试 Hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 产看YARN界面，观看APP...
从零开始学习Spark--第3章 spark的example
chutian8427的博客
01-17 320
1.1 命令行： #spark安装在/home/brian/setup/spark-new/spark-0.8.0目录 cd /home/brian/setup/spark-new/spark-0.8.0 #在本地运行计算Pi值的Spark程序，4个工作线...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值