ERROR yarn.ApplicationMaster: Promise already completed.

最新推荐文章于 2024-02-22 16:19:32 发布
最新推荐文章于 2024-02-22 16:19:32 发布
阅读量587 收藏 1
点赞数
分类专栏： 流式计算 Spark 文章标签： sparkStreaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lvtula/article/details/98968518
版权

使用sparkStreaming读取kafka数据时，再需要借助hdfs存储路径下的文件可借助streamingContext，不使用spark.sparkSession即可

[Spark streaming举例]-- yarn-cluster运行spark streaming问题
欢迎来到我的博客，一起探索代码里的世界！
07-17 9684
一、本地运行spark出现的错误 Exception in thread "main" java.lang.VerifyError: class com.fasterxml.jackson.module.scala.ser.ScalaIteratorSerializer overrides final method withResolved. (Lcom/fasterxml/jackson/...
Ambari2.7.5源码编译安装及遇到的问题解决有这一篇文章就够了
mcj1314bb的博客
01-26 2158
本篇博客列举的所有命令行操作及问题大部分是真实遇到的，还有部分没有遇到，其他博主遇到了也总结到这个博客下，在此贴出前几位博主的链接，也都是大神，希望大家多多支持 如操作过程中遇到什么疑问,或文章内容有什么不严谨的地方 请在评论区留言指出,我会第一时间更正 参考链接 https://xuemengran.blog.csdn.net/article/details/108626421 https://www.cnblogs.com/wang--lei/p/8257238.html https://www
ERROR yarn.ApplicationMaster: Promise already completed.（基于spark将数据load到hive外部表时遇到的错误）
西柚大数据
10-31 2121
Traceback (most recent call last): File "local_etl_hive.py", line 20, in <module> .config('spark.debug.maxToStringFields', '100')\ File "/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1....
ERROR yarn.ApplicationMaster: Promise already completed.
u010791030的博客
09-12 6281
18/09/11 11:41:58 INFO cluster.YarnClusterScheduler: Created YarnClusterScheduler 18/09/11 11:41:58 INFO cluster.SchedulerExtensionServices: Starting Yarn extension services with app application_15247...
java.lang.IllegalStateException: Promise already completed.
最新发布
liu82327114的博客
02-22 762
然后看左下角记录的支持的python的版本列表，如图所以是查询的pyspark3.1.2的所支持的python列表。spark submit 提交作业的时候提示Promise already complete。这种情况是python版本和pyspark版本不一致的情况导致的。说一下查询pyspark兼容python版本查询的方法。
Spark提交任务运行报错：Unregistering ApplicationMaster...Promise already completed.
m0_38109926的博客
05-23 1371
2022-05-23 14:33:05,581 INFO yarn.ApplicationMaster: Unregistering ApplicationMaster with FAILED (diag message: User class threw exception: java.lang.IllegalStateException: Promise already completed. at scala.concurrent.Promise.complete(Promise.scala:53).
使用pyspark库时，出现以下错误的原因是什么：Traceback (most recent call last): File "warn_first.py", line 435, in <module> fluence_data_history =spark_sql_test(fluence_sql) File "warn_first.py", line 347, in spark_sql_test sc = SparkContext(conf=conf) File "/data13/yarn/nm2/usercache/target_hive2ck/appcache/application_1683620905143_2728366/container_e4080_1683620905143_2728366_06_000001/pyspark.zip/pyspark/context.py", line 118, in init File "/data13/yarn/nm2/usercache/target_hive2ck/appcache/application_1683620905143_2728366/container_e4080_1683620905143_2728366_06_000001/pyspark.zip/pyspark/context.py", line 180, in _do_init File "/data13/yarn/nm2/usercache/target_hive2ck/appcache/application_1683620905143_2728366/container_e4080_1683620905143_2728366_06_000001/pyspark.zip/pyspark/context.py", line 288, in _initialize_context File "/data13/yarn/nm2/usercache/target_hive2ck/appcache/application_1683620905143_2728366/container_e4080_1683620905143_2728366_06_000001/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1525, in call File "/data13/yarn/nm2/usercache/target_hive2ck/appcache/application_1683620905143_2728366/container_e4080_1683620905143_2728366_06_000001/pyspark.zip/pyspark/sql/utils.py", line 63, in deco File "/data13/yarn/nm2/usercache/target_hive2ck/appcache/application_1683620905143_2728366/container_e4080_1683620905143_2728366_06_000001/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : java.lang.IllegalStateException: Promise already completed.
06-14
这个错误通常是由于在同一个进程中多次创建 SparkContext 导致的。在 PySpark 中，每个 SparkContext 只能在同一个进程中创建一次，如果想要在同一进程中多次使用 SparkContext，需要先停止之前创建的 SparkContext...
flink checkpoint 流程源码分析
yuchuanchen的专栏
05-14 1833
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr
乔布斯传中的英文词频统计
yujiaao的专栏
09-30 3万+
0: 1 0.9: 1 0006939: 1 03.html: 1 1: 49 1,000: 9 1,200: 1 1,299: 1 1,300: 1 1,500: 3 1,995: 3 1-866-248-3049: 1 1.0: 4 1.04: 1 1.2: 3 1.3: 2 1.5: 1 1.7: 2 1.79: 1 1.8-inch: 3 10: 6...
Spark jar not loaded. Offending class: javax/servlet/Servlet.class
fansy1990的专栏
09-16 3999
部署Tomcat，运行java web程序调用Spark，执行Scala开发的Spark程序。并且提交任务到Yarn集群，使用yarn-client（或yarn-cluster）的模式，即Spark on YARN的模式。 部署过程以及遇到问题及解决方法
studio 3T 破解方法（亲测）
西柚大数据
06-19 3万+
https://www.jianshu.com/p/7257f15e2620?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes
https://stackoverflow.com/questions/46895441/error-yarn-applicationmaster-uncaught-exception-java-ut
qq_35403739的博客
10-14 1166
package bigdata.spark.SparkStreaming.kafka010 import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kafka010.{KafkaUtils, LocationStrategies, OffsetRange}...
Spark Streaming源码阅读（1）SparkSession和SparkContext
qq_38835878的博客
11-21 1504
(一)SparkSession: SparkSession是Spark程序以及用来创建DataSet和DataFrame 的入口类, SparkSession实质上是用来合并这一系列的Context（未来可能还会加上StreamingContext），所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。 通用的getOrCreat...
cdh spark history无法查看历史数据
bsf5521的博客
06-28 2825
问题：新装cdh5.9，使用新建的hadoop用户运行spark没有问题，但是查看spark history的时候发现无法查看 但是发现文件是存在的： 如图可见：发现系统默认是用spark用户运行的，使用hadoop fs -chown -r spark:spark  后历史文件可以查看，但是hadoop用户新执行的任务都是hadoop:hadoop仍然不可以查看。故怀疑是执行
SparkContext、SparkConf和SparkSession之间的联系及其初始化
热门推荐
sym的博客
02-05 5万+
1 SparkConf和SparkContext1.1 启动spark-shell每个Spark应用程序都需要一个Spark环境，这是Spark RDD API的主要入口点。Spark Shell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。使用spark-shell启动交互式命令的过程如下： 进入spark的安装目录，转到bin目录下，启动命令./s
Yarn的ApplicationMaster介绍
weixin_38255444的博客
11-22 1万+
Yarn的ApplicationMaster介绍 ApplicationMaster基本介绍 ​ ApplicationMaster实际上是特定计算框架的一个实例，每种计算框架都有自己独特的ApplicationMaster，负责与ResourceManager协商资源，并和NodeManager协同来执行和监控Container。MapReduce只是可以运行在YARN上一种计算框架。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值