spark RDD分区2GB限制(Size exceeds Integer.MAX_VALUE)

最新推荐文章于 2024-04-26 23:14:13 发布
原创 最新推荐文章于 2024-04-26 23:14:13 发布 · 9.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在使用Spark处理大数据文件时遇到的2GB限制问题及其解决办法。通过手动设置RDD分区数量为500，成功避免了因文件大小超过整型最大值导致的任务丢失警告。

最近使用spark处理较大的数据文件，遇到了分区2G限制的问题，spark日志会报如下的日志：
WARN scheduler.TaskSetManager: Lost task 19.0 in stage 6.0 (TID 120, 10.111.32.47): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:828)
at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:123)
at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:132)
at org.apache.spark.storage.BlockManager.doGetLocal(BlockManager.scala:517)
at org.apache.spark.storage.BlockManager.getLocal(BlockManager.scala:432)
at org.apache.spark.storage.BlockManager.get(BlockManager.scala:618)
at org.apache.spark.CacheManager.putInBlockManager(CacheManager.scala:146)
at org.apache.spark.CacheManager.getOrCompute(CacheManager.scala:70)

解决方法：
手动设置RDD的分区数量。当前使用的Spark默认RDD分区是18个，后来手动设置为500个，上面这个问题就迎刃而解了。可以在RDD加载后，使用RDD.repartition(numPart:Int)函数重新设置分区数量。
val data_new = data.repartition(500)


下面是一些相关的资料，有兴趣的读者可以进一步的阅读:


Spark RDD 自定义分区器
congge_study的博客
04-30 803
Spark 自定义分区器
spark任务java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
qq_44912070的博客
12-27 3691
crash：“Caused by: java.lang.RuntimeException: java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE” 这是 spark 的一个经典错误，很有可能就是 shuffle 的时候有太大的 key 或 value 造成的（当然，此 crash 也有可能涉及 序列化、反序列化、cac...
sparksql性能优化，数据倾斜，报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误
keshixi的专栏
02-24 1326
sparksql性能优化，数据倾斜，报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误
spark 2.X 疑难问题汇总
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
Saprk 报错java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
天道酬勤的博客
08-25 9235
17/08/25 18:35:42 WARN scheduler.TaskSetManager: Lost task 1.1 in stage 176.0 (TID 25544, 192.168.3.20, executor 290): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE at sun...
java filechannel map,为什么FileChannel.map会占用Integer.MAX_VALUE数据？
weixin_39884078的博客
02-16 370
I am getting following exception when using FileChannel.mapException in thread "main" java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUEat sun.nio.ch.FileChannelImpl.map(Unknown Source...
Spark RDD以及其特性.rar_RDD_Spark!_parallelbwz_spark_特性
09-21
2. **分布式**：RDD是分布在集群中的数据集，可以被分成多个分区，并且可以在多台机器上并行处理。这种分布式特性使得Spark能够处理大规模数据。 3. **不可变性**：RDD一旦创建，就不能被修改。所有的计算都是通过...
spark 2.X 版本各种疑难问题汇总
是故事啊~关注我~
08-19 2165
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 各种版本不一致 各种内存溢出 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/immomo/recommend/RedisDao: Unsupported major.minor version 52.0 处理：该问题一般是spa
Spark RDD分区知识总结
thu16kevin的博客
05-25 1027
Spark RDD分区知识总结 1. RDD 1.1 RDD定义 RDD(Resilient Distributed Dataset)——弹性分布式数据集，是Spark中最基本的数据抽象 不可变（只读） 分区 自动容错 位置感知调度 可伸缩 1.2 RDD属性 （1）一组分区（Partition），即数据集的基本组成单位。对于RDD来说，每个分区都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Co
精选资源
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
大数据实验报告 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 本实验报告主要介绍了在 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 的步骤和过程。实验中首先安装了 ...
Spark RDD分区2G限制
jast
07-10 566
遇到这个问题时，spark日志会报如下的日志片段1： 片段2： 异常就是某个partition的数据量超过了Integer.MAX_VALUE（2147483647 = 2GB）手动设置RDD的分区数量。当前使用的Spark默认RDD分区是18个，后来手动设置为1000个，上面这个问题就迎刃而解了。可以在RDD加载后，使用RDD.repartition(numPart:Int)函数重新设置分区数量。目前spark社区对这个限制有很多讨（tu）论（cao），spark官方团队已经注意到了这个问题，但是直到1.
RDD分区2GB限制
走向程序的康庄大道
05-02 973
spark处理较大的数据时，遇到了分区2G限制的问题。问题来源：500G原数据存储在HBase上，Spark从HBase读取数据这些数据进行处理，任务资源分配如下：--executor-memory 12G \ --executor-cores 6 \ --conf spark.yarn.driver.memoryOverhead=2048 \ --conf spark.yarn.executor...
深入理解java.lang.IllegalArgumentException异常
热门推荐
博客
08-02 5万+
IllegalArgumentException是Java的一个标准异常类，继承自RuntimeException类。当方法接收到一个非法或不合理的参数时，就会抛出该异常。本篇博客深入探讨了java.lang.IllegalArgumentException异常的相关知识。我们了解了异常的概念和分类，以及异常处理机制。然后，重点介绍了IllegalArgumentException异常的定义、继承关系和触发条件。接着，我们讨论了该异常在方法参数校验、构造方法参数校验和API调用参数校验等常见场景中的应用。
亲测有效！！！已解决java.lang.IllegalArgumentException异常，已解决java.lang.IllegalArgumentException异常的正确解决方法，亲测有效！！
PythonAigc的博客
04-26 9666
java.lang.IllegalArgumentException 是 Java 中的一个运行时异常，它表示向方法传递了一个不合法或不适当的参数。这个异常通常用于表示调用者违反了API合约，即方法调用者传递了一个方法签名预期之外的值。 问题分析 当 Java 程序抛出 IllegalArgumentException 时，意味着程序中的某个方法收到了一个不符合其要求或期望的参数。这可能是由于参数的类型错误、值范围错误、格式错误或任何其他不满足方法使用条件的情况。 报错原因 IllegalArgumen
Spark系列--SparkCore(六)RDD分区详解
淡淡的倔强的博客
07-19 2341
一、分区个数规则 spark.default.parallelism：（默认的并发数）= 2 当配置文件spark-default.conf中没有显示的配置，则按照如下规则取值： 1、本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线程数来并发）： spark-shell spark.default.parallelism = 1 spark-s...
git push 报错提示: This repository(including wiki) size xxxMB, exceeds 1024.00 MB
nfl0601的博客
12-04 1815
选择查看，因为仓库内容大小已经超过了 1024 MB, 因此会报上面的错误。此时需要清理悬空的文件。
读取大文件的三种方法
weixin_34345753的博客
11-03 3413
2019独角兽企业重金招聘Python工程师标准>>> ...
RDD默认的存储级别是（ ） 。 A．DISK_ONLY B．MEMOTY_ONLY_SER C．MEMORY_AND_DISK D．MEMORY_ONLY
最新发布
04-25
### Apache Spark MLlib ALS 输入数据类型 在 Apache Spark 的 MLlib 库中，ALS（Alternating Least Squares）是一种常用的协同过滤算法，用于构建推荐系统。该算法的主要目的是通过对用户-物品交互矩阵进行低秩近似分解，从而预测未观测到的评分值[^1]。 对于 ALS 算法而言，其输入数据类型是一个由 `(user, product, rating)` 组成的三元组集合。MLlib 提供了一个专门的数据结构 `Rating` 来表示这种关系，其中每个 `Rating` 对象包含了三个字段：用户 ID (`user`)、物品 ID (`product`) 和对应的评分值 (`rating`)。因此，在 MLlib 中，ALS 的输入数据类型应为 `RDD[Rating]` 或者 DataFrame 表示的表格形式，包含相同的列名和含义[^4]。 以下是创建 `RDD[Rating]` 并将其传递给 ALS 训练方法的一个简单例子： ```scala import org.apache.spark.mllib.recommendation.{ALS, Rating} // 假设加载了原始数据文件，并映射为 RDD[Rating] val data = sc.textFile("path/to/ratings/file") val ratings = data.map { line => val fields = line.split(",") Rating(fields(0).toInt, fields(1).toInt, fields(2).toDouble) } // 使用 ALS 进行训练 val rank = 10 // 隐含特征数 val numIterations = 10 // 迭代次数 val model = ALS.train(ratings, rank, numIterations) ``` --- ### RDD 的默认存储级别 关于 RDD 的默认存储级别，默认情况下，当开发者调用诸如 `.cache()` 方法时，Spark 将会把 RDD 存储在一个内存优先的存储策略下，具体来说就是使用 `MEMORY_ONLY` 模式[^2]。这意味着如果足够的空间可用，则整个 RDD 数据会被序列化并保存至 JVM 堆上的内存区域；然而一旦内存不足，某些分区可能会被驱逐掉以便释放资源。 不过需要注意的是，尽管这是默认行为，但开发人员也可以显式指定其他更合适的持久化选项以满足不同的应用场景需求。例如可以通过如下方式改变默认设置： ```scala rdd.persist(org.apache.spark.storage.StorageLevel.MEMORY_AND_DISK) ``` 这里展示了如何将存储级别改为既尝试存入内存又允许溢写磁盘的方式。这样即使发生内存耗尽的情况，仍能保证所有数据不会丢失而只是速度变慢而已[^3]。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值