解决Consider increasing spark.rpc.message.maxSize

最新推荐文章于 2021-10-26 14:24:23 发布
最新推荐文章于 2021-10-26 14:24:23 发布
阅读量6.5k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark rpc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/quitozang/article/details/78071632
本文介绍了当使用Apache Spark处理大数据时遇到的RPC消息大小限制问题。针对此问题，提供了调整配置参数spark.rpc.message.maxSize的具体方法，并建议考虑使用广播变量来减少任务序列化的大小。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

apache.spark.SparkException: Job aborted due to stage failure: Serialized task 32:5 was 204136673 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes).Consider increasing spark.rpc.message.maxSize or using broadcast variables for large values.
用sc.parallelize(data,slices)时，如果data数据过大，易出现该问题
解决：增加spark.rpc.message.maxSize，该值默认大小128M
提交任务是加：–conf spark.rpc.message.maxSize=512

【FAQ】Spark报错: java.lang.UnsupportedOperationException: Unimplemented type:DoubleType
loongshawn的博客
06-09 578
异常回顾 2019-01-01 11:24:32,035 WARN org.apache.spark.scheduler.TaskSetManager: Lost task xx.0 in stage x.0 (xxx 12, xxx, executor 3): org.apache.spark.SparkException: Task failed while writing rows at org.apache.spark.sql.execution.datasources.FileFormatWri
Spark源码阅读02-Spark核心原理之作业执行原理
最新发布
2401_85377244的博客
07-17 1076
学习技术一定要制定一个明确的学习路线，这样才能高效的学习，不必要做无效功，既浪费时间又得不到什么效率，大家不妨按照我这份路线来学习。大家不妨直接在牛客和力扣上多刷题，同时，我也拿了一些面试题跟大家分享，也是从一些大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！} else 0Ltry {//首先调用rdd.iterator，如果该RDD已经Cache或者Checkpoint，那么直接读取结果//否则计算，计算结果会保存在本地系统的BlockManager中。
Spark在StandAlone模式下提交任务，spark.rpc.message.maxSize太小而出错
weixin_30828379的博客
09-23 1717
1.错误信息org.apache.spark.SparkException: Job aborted due to stage failure:Serialized task 32:5 was 1728746673 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consi...
spark RDD分区2GB限制(Size exceeds Integer.MAX_VALUE)
TURING.DT
08-25 9154
最近使用spark处理较大的数据文件，遇到了分区2G限制的问题，spark日志会报如下的日志： WARN scheduler.TaskSetManager: Lost task 19.0 in stage 6.0 (TID 120, 10.111.32.47): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
Spark config配置项 一览
u010374412的博客
11-29 5172
Spark config配置项 一览env配置 env配置 SPARK_PRINT_LAUNCH_COMMAND -> true 表示在spark-submit 提交job的时候是否打印LaunchCommand
Spark任务两个小问题笔记
三劫散仙
12-26 3406
今天在用spark处理数据的时候，遇到两个小问题，特此笔记一下。 两个问题都与网络交互有关，大致处理场景是，在driver端会提前获取组装一批数据，然后把这些数据发送executor端进行后续处理。 问题一：序列化异常 driver有一个case class类需要封装一些数据发送到executor上，原来都是scala的类，直接发送到executor上执行没问题，而且也没加序列化
sparksql读parquet表执行报错
lhxsir的博客
12-29 1180
集群内存：1024G（数据量：400G） (1)报错信息： Job aborted due to stage failure: Serialized task 2231:2304 was 637417604 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increas...
Spark Task Scheduler划分task过程
qq_37163925的博客
06-02 952
前言 前面分析过了DAG Scheduler划分stage的过程【感兴趣的话可以看看DAG Scheduler划分stage的过程】，现在我们开始看看Task Scheduler是如何划分Task的。 正文 首先看DAG Scheduler提交TaskSet的方法，这个方法是submitMissingTasks(stage: Stage, jobId: Int)方法。(这个方法把stage和jobID传进去，stage存的是stage的最后一个RDD，这个RDD可以通过血缘关系将前面的RDD序列化) p
大数据篇：这些年大数据组件的一些踩坑和优化总结
yycc
09-09 2537
一些大数据框架使用，维护，优化经验
【Spark】Spark作业执行原理--提交任务
w1992wishes的博客
12-21 345
本篇结构： 创建 Task 创建 TaskSetManager 并 向 DriverEndpoint 发送消息 分配资源 发送消息告诉 Executor 去执行 Task 一、创建 Task 当调度阶段运行后，在 DAGScheduler 的 submitMissingTasks 方法中会根据调度阶段 Partition 数量拆分对应个数任务。 对于 ResultStage，生成 Result...
spark学习
qq_35753857的博客
12-20 465
1.spark功能接口——SparkContext SparkContext是spark功能的主要入口。其代表与spark集群的连接，能够用来在集群上创建RDD、累加器、广播变量。每个JVM里只能存在一个处于激活状态的SparkContext，在创建新的SparkContext之前必须调用stop()来关闭之前的SparkContext。 原文链接：https://blog.csdn.net/we...
8. spark源码分析（基于yarn cluster模式）- Task执行，Map端写入实现，ShuffleMapTask,SortShuffleWriter,ResultStage,ResultT
LeoHan
10-26 805
通过上一节分析，我们知道，task提交之后通过launchTasks来具体执行任务，这一章节我们看下其具体实现. private def launchTasks(tasks: Seq[Seq[TaskDescription]]) { for (task <- tasks.flatten) { val serializedTask = TaskDescription.encode(task) if (serializedTask.limit() >= m
Spark性能调优—高级
quitozang的博客
07-03 261
数据倾斜调优定位：Spark Web UI或本地log查运行较慢的task（查看数据量），确定stage，定位代码位置查看key的数据分布：countByKey()解决方案过滤少数导致倾斜的key适用于少数几个数据量特别多的key对作业的执行和计算结果影响不大提高shuffle并行度两阶段聚合（局部聚合+全局聚合）—适用于reduceByKey等聚合类shuffle算子将原来相同的key添加随机前...
org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 9:0 was 1373316
糖果先生的博客
06-16 4043
项目场景： 使用Pyspark做数据清晰的时候，从小数据到大数据转换的时候报了这个错。 问题描述： org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 9:0 was 137331649 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increasing spar
spring boot整合spark，集群模式或local模式运行，http请求调用spark API，启动job任务配置、优化spark配置等
热门推荐
qq_41587243的博客
01-22 1万+
需求描述：前后端分离系统，用SpringBoot整合Spark API,调用大量数据（几百GB，上TB）进行处理计算，单机环境难以达到性能要求，此，需整合直接调用spark跑程序，且在集群跑… 在此，一台测试服务器模拟，搭建伪分布spark集群，用standalone模式运行。 文章目录一、集群环境二、项目配置环境 一、集群环境 包版本： 1.java1.8 2.spark 2.3.1 3.scala 2.11 4.CentOS Linux release 7.3.1611 (Core)
spark异常错误总结
cxy1991xm的博客
06-21 5757
1、java.lang.OutOfMemoryError: GC overhead limit exceeded 原因：数据量太大，内存不够 解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores (2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分 2、ERROR An error occurred...
spark新能优化之shuffle新能调优
weixin_33834075的博客
07-13 328
shuffle调优参数 new SparkConf().set("spark.shuffle.consolidateFiles", "true") spark.shuffle.consolidateFiles：是否开启shuffle block file的合并，默认为false//设置从maPartitionRDD上面到到下个stage的resultTask时数据的传输快可以聚合（具体原理可以...
consider increasing max.overlaps
09-17
“consider increasing max.overlaps”是一个指示，意味着需要考虑增加“max.overlaps”的值。 在计算机编程领域，max.overlaps通常用于限制两个或多个对象之间允许的最大重叠数量。通过增加max.overlaps的值，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值