spark RDD分区2GB限制(Size exceeds Integer.MAX_VALUE)

最新推荐文章于 2024-04-26 23:14:13 发布
原创 最新推荐文章于 2024-04-26 23:14:13 发布 · 9.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在使用Spark处理大数据文件时遇到的2GB限制问题及其解决办法。通过手动设置RDD分区数量为500，成功避免了因文件大小超过整型最大值导致的任务丢失警告。

最近使用spark处理较大的数据文件，遇到了分区2G限制的问题，spark日志会报如下的日志：
WARN scheduler.TaskSetManager: Lost task 19.0 in stage 6.0 (TID 120, 10.111.32.47): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:828)
at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:123)
at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:132)
at org.apache.spark.storage.BlockManager.doGetLocal(BlockManager.scala:517)
at org.apache.spark.storage.BlockManager.getLocal(BlockManager.scala:432)
at org.apache.spark.storage.BlockManager.get(BlockManager.scala:618)
at org.apache.spark.CacheManager.putInBlockManager(CacheManager.scala:146)
at org.apache.spark.CacheManager.getOrCompute(CacheManager.scala:70)

解决方法：
手动设置RDD的分区数量。当前使用的Spark默认RDD分区是18个，后来手动设置为500个，上面这个问题就迎刃而解了。可以在RDD加载后，使用RDD.repartition(numPart:Int)函数重新设置分区数量。
val data_new = data.repartition(500)


下面是一些相关的资料，有兴趣的读者可以进一步的阅读:


Spark RDD 自定义分区器
congge_study的博客
04-30 803
Spark 自定义分区器
spark任务java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
qq_44912070的博客
12-27 3690
crash：“Caused by: java.lang.RuntimeException: java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE” 这是 spark 的一个经典错误，很有可能就是 shuffle 的时候有太大的 key 或 value 造成的（当然，此 crash 也有可能涉及 序列化、反序列化、cac...
sparksql性能优化，数据倾斜，报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误
keshixi的专栏
02-24 1324
sparksql性能优化，数据倾斜，报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误
spark 2.X 疑难问题汇总
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
Saprk 报错java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
天道酬勤的博客
08-25 9235
17/08/25 18:35:42 WARN scheduler.TaskSetManager: Lost task 1.1 in stage 176.0 (TID 25544, 192.168.3.20, executor 290): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE at sun...
java filechannel map,为什么FileChannel.map会占用Integer.MAX_VALUE数据？
weixin_39884078的博客
02-16 370
I am getting following exception when using FileChannel.mapException in thread "main" java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUEat sun.nio.ch.FileChannelImpl.map(Unknown Source...
Spark RDD以及其特性.rar_RDD_Spark!_parallelbwz_spark_特性
09-21
2. **分布式**：RDD是分布在集群中的数据集，可以被分成多个分区，并且可以在多台机器上并行处理。这种分布式特性使得Spark能够处理大规模数据。 3. **不可变性**：RDD一旦创建，就不能被修改。所有的计算都是通过...
spark 2.X 版本各种疑难问题汇总
是故事啊~关注我~
08-19 2165
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 各种版本不一致 各种内存溢出 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/immomo/recommend/RedisDao: Unsupported major.minor version 52.0 处理：该问题一般是spa
Spark RDD分区知识总结
thu16kevin的博客
05-25 1027
Spark RDD分区知识总结 1. RDD 1.1 RDD定义 RDD(Resilient Distributed Dataset)——弹性分布式数据集，是Spark中最基本的数据抽象 不可变（只读） 分区 自动容错 位置感知调度 可伸缩 1.2 RDD属性 （1）一组分区（Partition），即数据集的基本组成单位。对于RDD来说，每个分区都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Co
精选资源
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
大数据实验报告 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 本实验报告主要介绍了在 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 的步骤和过程。实验中首先安装了 ...
Spark RDD分区2G限制
jast
07-10 565
遇到这个问题时，spark日志会报如下的日志片段1： 片段2： 异常就是某个partition的数据量超过了Integer.MAX_VALUE（2147483647 = 2GB）手动设置RDD的分区数量。当前使用的Spark默认RDD分区是18个，后来手动设置为1000个，上面这个问题就迎刃而解了。可以在RDD加载后，使用RDD.repartition(numPart:Int)函数重新设置分区数量。目前spark社区对这个限制有很多讨（tu）论（cao），spark官方团队已经注意到了这个问题，但是直到1.
RDD分区2GB限制
走向程序的康庄大道
05-02 973
spark处理较大的数据时，遇到了分区2G限制的问题。问题来源：500G原数据存储在HBase上，Spark从HBase读取数据这些数据进行处理，任务资源分配如下：--executor-memory 12G \ --executor-cores 6 \ --conf spark.yarn.driver.memoryOverhead=2048 \ --conf spark.yarn.executor...
深入理解java.lang.IllegalArgumentException异常
热门推荐
博客
08-02 5万+
IllegalArgumentException是Java的一个标准异常类，继承自RuntimeException类。当方法接收到一个非法或不合理的参数时，就会抛出该异常。本篇博客深入探讨了java.lang.IllegalArgumentException异常的相关知识。我们了解了异常的概念和分类，以及异常处理机制。然后，重点介绍了IllegalArgumentException异常的定义、继承关系和触发条件。接着，我们讨论了该异常在方法参数校验、构造方法参数校验和API调用参数校验等常见场景中的应用。
亲测有效！！！已解决java.lang.IllegalArgumentException异常，已解决java.lang.IllegalArgumentException异常的正确解决方法，亲测有效！！
PythonAigc的博客
04-26 9653
java.lang.IllegalArgumentException 是 Java 中的一个运行时异常，它表示向方法传递了一个不合法或不适当的参数。这个异常通常用于表示调用者违反了API合约，即方法调用者传递了一个方法签名预期之外的值。 问题分析 当 Java 程序抛出 IllegalArgumentException 时，意味着程序中的某个方法收到了一个不符合其要求或期望的参数。这可能是由于参数的类型错误、值范围错误、格式错误或任何其他不满足方法使用条件的情况。 报错原因 IllegalArgumen
Spark系列--SparkCore(六)RDD分区详解
淡淡的倔强的博客
07-19 2341
一、分区个数规则 spark.default.parallelism：（默认的并发数）= 2 当配置文件spark-default.conf中没有显示的配置，则按照如下规则取值： 1、本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线程数来并发）： spark-shell spark.default.parallelism = 1 spark-s...
git push 报错提示: This repository(including wiki) size xxxMB, exceeds 1024.00 MB
nfl0601的博客
12-04 1815
选择查看，因为仓库内容大小已经超过了 1024 MB, 因此会报上面的错误。此时需要清理悬空的文件。
读取大文件的三种方法
weixin_34345753的博客
11-03 3412
2019独角兽企业重金招聘Python工程师标准>>> ...
from pyspark import StorageLevel mapped_rdd.persist(StorageLevel.MEMORY_ONLY)解释函数
最新发布
12-25
<think>我们正在解释两行PySpark代码的含义： 1. `from pyspark import StorageLevel` 2. `mapped_rdd.persist(StorageLevel.MEMORY_ONLY)` ### 1. 导入StorageLevel ```python from pyspark import StorageLevel ``` - **作用**：从PySpark库中导入`StorageLevel`类。这个类定义了RDD（弹性分布式数据集）在Spark集群中的存储级别。 - **存储级别的意义**：存储级别决定了RDD的分区数据在集群中如何存储（例如：内存、磁盘、序列化方式、副本数量等）[^1]。 - **常见存储级别常量**： - `MEMORY_ONLY`: 只存储在内存中（反序列化形式） - `MEMORY_AND_DISK`: 优先存内存，内存不足时溢写到磁盘 - `MEMORY_ONLY_SER`: 序列化后存储在内存（节省空间） - `DISK_ONLY`: 只存储在磁盘 - 其他（如带副本的级别：`MEMORY_ONLY_2`表示存两份） ### 2. 设置RDD的存储级别 ```python mapped_rdd.persist(StorageLevel.MEMORY_ONLY) ``` - **`persist()`方法**：用于将RDD标记为持久化（缓存）。Spark在执行行动操作（Action）时，会将该RDD的计算结果按指定级别存储，避免后续重复计算。 - **参数**：`StorageLevel.MEMORY_ONLY`表示使用内存存储级别，具体行为如下： - 将RDD的分区以**反序列化Java对象**的形式存储在Executor内存中。 - 若内存不足，则部分分区不缓存，需使用时重新计算。 - 不创建副本（单副本），无磁盘备份。 - **与`cache()`的区别**： ```python mapped_rdd.cache() # 等价于persist(StorageLevel.MEMORY_ONLY) ``` `cache()`是`persist()`的简写，默认使用`MEMORY_ONLY`级别。 ### 存储级别选择策略[^1] | 级别 | 适用场景 | |-----------------------|------------------------------------------------------------------------| | **MEMORY_ONLY**（默认） | | 内存充足且RDD对象较小 | | **MEMORY_ONLY_SER** | 对象较大时，序列化可减少内存占用（需权衡CPU开销） | | **MEMORY_AND_DISK** | 内存不足时部分数据存磁盘，避免重算大分区 | | **DISK_ONLY** | 内存严重不足且数据重用率低 | > **重要原则**：仅在RDD被多次使用时才持久化，并及时用`unpersist()`释放资源。 ### 代码执行示例 ```python # 创建RDD rdd = sc.parallelize([1, 2, 3, 4]) # 转换操作（不触发计算） mapped_rdd = rdd.map(lambda x: x * 2) # 设置持久化级别 mapped_rdd.persist(StorageLevel.MEMORY_ONLY) # 仅内存存储 # 行动操作触发缓存 result = mapped_rdd.collect() # 计算并缓存数据 print(result) # 输出: [2, 4, 6, 8] # 后续操作重用缓存 count = mapped_rdd.count() # 直接读取缓存，无需重算 print(count) # 输出: 4 # 释放缓存 mapped_rdd.unpersist() ``` ### 性能影响 - **优点**：减少重复计算，加速迭代算法（如机器学习训练）[^1]。 - **风险**：不合理缓存可能导致内存溢出或浪费资源。 --- §§相关问题§§ 1. 如何通过Spark UI监控已缓存的RDD存储状态？ 2. 在什么场景下应选择`MEMORY_ONLY_SER`而非`MEMORY_ONLY`？ 3. Spark中哪些操作会触发RDD的持久化生效？ </think> ### 详细解释代码：`from pyspark import StorageLevel` 和 `mapped_rdd.persist(StorageLevel.MEMORY_ONLY)` #### 1. `from pyspark import StorageLevel` - **作用**：从 PySpark 库导入存储级别（`StorageLevel`）类，用于定义 RDD 的持久化策略。 - **关键概念**： - `StorageLevel` 是 Spark 的核心类，封装了数据存储的多种组合方式（内存、磁盘、序列化、副本数等）。 - 常用存储级别常量： - `MEMORY_ONLY`: 只存储在内存中（默认） - `MEMORY_AND_DISK`: 优先存内存，内存不足时溢写磁盘 - `DISK_ONLY`: 只存储在磁盘 - `MEMORY_ONLY_SER`: 序列化后存储在内存（节省空间） - **为何需要导入**： 不导入 `StorageLevel` 类，就无法使用 `StorageLevel.MEMORY_ONLY` 等常量指定存储级别。 #### 2. `mapped_rdd.persist(StorageLevel.MEMORY_ONLY)` - **作用**：将 RDD 标记为持久化，并指定存储级别为 `MEMORY_ONLY`。 - **分步解析**： 1. **`mapped_rdd`**： 通过 `map` 转换生成的 RDD（例如 `rdd.map(lambda x: x*2)`）。 2. **`.persist()`**： 方法调用，表示要求 Spark 持久化该 RDD。**注意**：此时并未真正存储数据，只是一个标记。 3. **`StorageLevel.MEMORY_ONLY`**： 指定持久化的具体策略： - **存储位置**：Executor 的 JVM 堆内存 - **存储形式**：反序列化的 Java 对象（非序列化字节） - **内存不足处理**：若分区无法放入内存，需使用时重新计算 - **副本数**：1（无冗余） - **磁盘使用**：❌ 不使用磁盘 - **执行流程**： ```mermaid graph LR A[触发行动操作] --> B{检查是否已持久化} B --> |否| C[计算RDD并存入内存] B --> |是| D[直接从内存读取数据] ``` 只有触发行动操作（如 `count()`, `collect()`）时，Spark 才会执行计算并缓存数据。 #### 3. 与 `cache()` 的关系 - **等价写法**： ```python mapped_rdd.cache() # 完全等价于 mapped_rdd.persist(StorageLevel.MEMORY_ONLY) ``` - **区别**： `cache()` 是 `persist(StorageLevel.MEMORY_ONLY)` 的简写，但显式使用 `persist` 可灵活指定其他存储级别。 #### 4. 存储级别的选择策略 | 存储级别 | 适用场景 | 性能特点 | |-------------------|--------------------------------------------------------------------------|------------------------------| | **`MEMORY_ONLY`** | 内存充足，RDD 重用率高且对象较小（默认） | 访问速度最快，CPU效率最高 | | **`MEMORY_ONLY_SER`** | 对象较大，内存紧张但 CPU 充足 | 空间节省，但需反序列化开销 | | **`MEMORY_AND_DISK`** | 部分分区过大无法全放内存 | 避免重算大分区，但有磁盘 I/O | | **`DISK_ONLY`** | 内存严重不足或数据重用率低 | 速度最慢，仅避免重复计算 | > **关键原则**：优先用默认的 `MEMORY_ONLY`，仅在内存不足时考虑序列化或磁盘方案。 #### 5. 完整代码示例 ```python from pyspark import SparkContext, StorageLevel sc = SparkContext("local", "example") # 创建原始RDD data = [1, 2, 3, 4, 5] rdd = sc.parallelize(data) # 转换操作：map生成新RDD mapped_rdd = rdd.map(lambda x: x * 2) # 此时未存储 # 显式持久化（默认MEMORY_ONLY） mapped_rdd.persist(StorageLevel.MEMORY_ONLY) # 触发行动操作：计算并缓存 print(mapped_rdd.collect()) # 输出: [2, 4, 6, 8, 10] # 后续重用缓存（无需重算） print(mapped_rdd.count()) # 输出: 5 # 释放缓存 mapped_rdd.unpersist() ``` #### 注意事项 1. **惰性生效**：持久化标记需行动操作触发才生效。 2. **内存监控**：通过 Spark UI 的 `Storage` 标签页观察缓存状态。 3. **及时释放**：用 `unpersist()` 手动释放不再使用的 RDD，避免资源浪费。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值