Tried to allocate an array of length 118,120,841, but the maximum length for this record type is 100

具身智能【2026-01】:Being-H0.5【VLA + Flow Matching】【MoT+MoE架构】【UniHand2.0数据集:4 亿个样本/35000小时 】 BeingBeyond Teamhttps://research.beingbeyond.com/being-h05Real-World Deployment Figure 1: Being-H0.5 at a Glance. We scale human-centric robot learning with Being-H0.5 toward cross-embodiment generalization. We introduce UniHand-2.0, a large-scale corpus 阅读详情

完整错误:
Tried to allocate an array of length 118,120,841, but the maximum length for this record type is 100,000,000. If the file is not corrupt and not large, please open an issue on bugzilla to request increasing the maximum allowable size for this record type. You can set a higher override value with IOUtils.setByteArrayMaxOverride()

问题:
这是一个内存分配问题,具体来说,它涉及到 Apache POI 在处理 Excel 文件时,尝试分配超过最大限制的内存数组。通常这种问题出现在处理大文件时,特别是当 Excel 文件非常大的时候 ,我遇到这个错误是因为上传了一个有50万数据的excel

解决:
1.分批处理数据:如果你处理的数据量非常大,可以考虑将文件分批处理,避免一次性加载整个文件。你可以在读取 Excel 文件时按行处理数据,而不是一次性将所有行加载到内存中。这样就可以避免内存溢出。
使用 Streaming API(SXSSFWorkbook)来读取大文件,SXSSFWorkbook 只会将一小部分数据加载到内存中,从而避免内存溢出问题。

Workbook wb = new SXSSFWorkbook(new XSSFWorkbook(file.getInputStream()), 100);  // 100 表示缓存100行数据
//其他逻辑
// 清理缓存的内存数据,这一步必做
((SXSSFWorkbook) wb).dispose();

用上边那一行替换下边的写法:

Workbook wb = new XSSFWorkbook(file.getInputStream());  

2.设置内存限制
你可以增加 POI 的内存限制,使用 IOUtils.setByteArrayMaxOverride() 来增大最大内存分配限制,不过不太推荐:

IOUtils.setByteArrayMaxOverride(200000000);  // 设置较高的内存限制

3.可以加一个全局的配置,原理和第二中方法一样,就是把这个设置改成全局的,方法有很多,这里就不介绍了

【信息科学与工程学】计算机科学与自动化——第一百五十五篇 缓存系统设计02 编号176-190共15个条目,覆盖了缓存互连网络(环形/交叉开关)、硅光互连、散热设计、3D封装TSV、信号完整性、冗余设计、老化补偿、电磁兼容、时钟分布、JTAG测试、安全硬件、调试探针、容错路由、体偏置、共振时钟。:编号161-175共15个条目,聚焦于缓存硬件设计与配置,涵盖了MESI协议、多级TLB、分支预测BTB/BHT、自适应预取引擎、ECC纠错汉明码、路分区硬件、非暂时性存储旁路、缓存冲刷指令、缓存锁定、压缩硬件、嗅探过滤器、虚拟化EPT、QoS限速、内置自测BIST、电源管理DVFS。 阅读详情

相关推荐

【信息科学与工程学】计算机科学与自动化——第一百五十五篇 缓存系统设计01 基础知识

CPU:拥有 L1/L2/L3 多级缓存,用于暂存即将执行的指令和频繁访问的数据。GPU:包含显存、纹理缓存、常量缓存、指令缓存等,加速图形渲染和通用计算。RAID 卡 / 存储控制器:自带缓存(通常带电池保护),用于合并写操作、加速读写。打印机:内置内存缓存,用于暂存待打印的页面数据,避免反复从电脑传输。光驱 / 蓝光播放器:内部缓存用于平滑读取光盘数据,防止因寻道延迟导致卡顿。操作系统:页缓存(Page Cache):缓存文件系统数据,减少磁盘 I/O。目录缓存(dentry cache):加速路径查找

weixin_49199313的博客 289

大数据量Excel文件处理报错问题:【Tried to allocate an array of length XX, but the maximum length for this...】

尝试分配一个长度为260,008,239的数组,但是该记录类型的最大长度为100,000,000所导致的。这是Nginx服务器的报错,是因为后端接口时间长时间没返回结果,服务器自动连接超时。将 原文件的每一个sheet页的值复制给新的 Workbook的sheet。将.xlsx 的每一个页签单独生成一个新的excel文件,并上传文件。2、使用 SXSSFWorkbook 来接收 原excel的每一个页签。项目上使用的 XSSFWorkbook 来处理 .xlsx文件。缩小excel的大小,报错。

qq_39889242的博客 7146

【信息科学与工程学】计算机科学与自动化——第一百五十五篇 缓存系统设计03

编号366-380共15个条目,涵盖了SQL/NoSQL数据库、小文件、对象、向量、CDN、应用框架等各类数据对CPU、GPU、ASIC、FPGA、NPU、内存、SSD、HDD、RAID卡、操作系统、Redis、容器、MPP数据库、CDN等缓存硬件和软件的配置需求。:mark_cache_size,uncompressed_cache_size,merge_tree配置。:调整vm.dirty_ratio,增大vfs_cache_pressure,启用透明大页。

weixin_49199313的博客 226

Spark 3.3.1 、Spark excel 3.3.1_0.18.5 读取excel异常:org.apache.poi.util.RecordFormatException:

解决方法: IOUtils.setByteArrayMaxOverride(200000000)

枪枪枪的博客 4760

【合规领域】【信息科学与工程学】计算机科学与自动化——第五百篇 国产化/XC解决方案 第二篇 海光CPU/DPU芯片适配01

信创软件与海光CPU/DCU(深算单元,常被统称为海光GPU加速卡)的适配,核心思路是:海光CPU兼容x86指令集、海光DCU兼容"类CUDA"环境,因此绝大多数x86应用和CUDA生态组件可以通过"轻量迁移"而非"重写"的方式落地。本条目的目标是把"海光x86 CPU + 海光DCU加速卡 + 统信UOS/银河麒麟 + 国密算法"串成一条可验收的链路。海光CPU(C86系列):兼容x86指令集(完整x86-64及SSE、AVX等主流扩展),基于AMD Zen1微架构深度定制的国产路线,国内唯一获得x86指

weixin_49199313的博客 100

【信息科学与工程学】【通信工程】第五十九篇 IP网络设计01

IP网络设计不是只写ip address;它本质是的问题,所以参数天然分布在:层级例子物理/传输(可选但你会要求光路/电路)光功率/OSNR/色散/衰减/BER/FEC;铜/微波链路预算L1/L2 链路模型速率、MTU、成帧开销、串行化、传播时延、缓冲排队/调度/QoS服务曲线、令牌桶、延迟界、丢包概率近似路由/TE/可靠性流守恒、路径容量、切换/收敛时间信息论/可达性Shannon 上限、FEC 有效码率、链路容量 after overhead计算科学/数值。

weixin_49199313的博客 511

访问链接数据库字段长度超出

访问链接数据库字段长度超出

moudy的专栏 1572

【信息科学与工程学】【通信工程】第一百五十五篇 网络拓扑学09

聚焦云数据中心(多region多AZ+多边缘DC)与城域网5G/6G网络一体化的拓扑学编号类型领域问题问题的数学分析(拓扑学+其他)参数列表及参数的数值范围关联知识A166图论/组合优化云原生数据湖如何用Apache Hudi的Timeline拓扑优化增量查询?​1. 拓扑学分析(详细): - 拓扑结构:Apache Hudi使用Timeline管理表的历史变更,Timeline是一个时间轴上的DAG。每个Instant(提交、 compaction、 cleaning等)是一个节点,节点之间按时间顺

weixin_49199313的博客 220

关于POI解析大数据量excel报错后,改为使用easyexcel之后的性能提升情况

在解析excel内容时,由于客户经常会有超大数据量excel文件(超20M)需要解析,之前使用的POI不适用了,报错如下(将IOUtils.setByteArrayMaxOverride(200_000_000);ZipSecureFile.setMinInflateRatio(0.000001);设置了还是报错): 解决方法: 使用easyexcel解析这段代码主要用于从一个 Excel 文件中读取数据,具体是读取“任务号1”、“任务号2”和“任务号3”相关的数据,并将这些数据存储到 对

r_oo_kie的博客 1502

手把手教你用HiNet实现图像隐藏:可逆神经网络实战指南(附代码)

本文提供了一份基于HiNet框架实现图像隐藏的实战指南。通过详细解析可逆神经网络原理,手把手指导环境搭建、模型构建、损失函数设计及训练流程,并附有完整代码。该方法利用单个可逆网络统一隐藏与恢复过程,结合小波变换提升隐蔽性,为信息隐藏应用提供了高效解决方案。

rgv234567的博客 433

英飞凌 AURIX 系列单片机的HSM详解(1)——何为HSM

1. 概述 随着汽车上通信系统越来越复杂,云端远程通信的场景越来越多,信息安全变得越来越重要,在通信领域常用的AES、SHA、RSA等加密算法被越来越多地应用到汽车上。但通常这类加解密算法都需要大量的数学运算,需要消耗很多CPU时间和资源,汽车上的ECU又有比较高的实时性要求,为了节省主CPU的资源,HSM应运而生。 HSM(Hardware Security Module),是MCU上专门用于实现加解密算法的一个外设,它一般会有一个独立的CPU,专门用来进行加解密运算,还有一些针对特定算法的硬件加速器(如

weixin_42967006的博客 4万+

DB2 Error Messages (Sorted by SQLCODE)

DB2 Error Messages (Sorted by SQLCODE) DB2 Error Messages (Sorted by SQLCODE) SQLCODESQLSTATEDescription 000 00000 The SQL statement finished successfully. 01xxx The SQL statemen...

weixin_34341229的博客 4032

SAP CBC 集成质量系统初始化接入实战指南

摘要 本文探讨了SAP S/4HANA Cloud Public Edition项目中质量系统的初始接入过程。质量系统并非开箱即用,而是需要经过SAP Central Business Configuration(CBC)的Scope and Organizational Structure阶段部署后才能具备完整功能。文章重点分析了几个关键环节:CBC里程碑确认的时机选择、Identity Authentication的初始管理员设置、Business Role Template的创建规范等。实施过程中需特

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1405

AReaL 代码走读:从 gsm8k_grpo 示例看 GRPO 异步训练的 Rollout 流水线与分布式协调设计

> 本文基于本仓库中的 [AReaL 代码走读笔记(英文版)](https://link.gitcode.com/i/27b8a253e7585fab591c7e7ba1a73288)(另有[中文版](https://link.gitcode.com/i/548154b4f82eb0a70a10a726e1008218))整理扩充而成。AReaL(Alignment via Reinforceme

gitblog_00001的博客 372

17. ADC开发

bes2700 支持2路ADC。

雪飞_海 338

CloudCompare二次开发(1)——获取指定高程的所有点

使用CloudCompare插件实现获取点云数据中指定高程的所有点。

点云侠的博客 4732

Java秋招八股之王——拿不到大厂Offer来找我(全文14w字,持续更新)

如果你需要一套八股文,想要一套八股文解决秋招的大部分问题,来看看这篇文章吧~内容包含数据结构、计算机网络、数据库、Redis、消息队列、JavaSE、JVM、JUC、海量数据题目、高并发场景、项目的亮点难点、ssm框架、dubbo框架等等。这是我整个秋招不停面试的总结和反思,最后也是靠它拿到了菜鸟的offer,希望会对后面秋招的朋友起到一些帮助。

qq_40460454的博客 1290

YOLOv11 Neck革新:当SDI遇上BiFPN,带你打造精度飙升的特征融合网络

对于科研:这是一个新颖的特征融合思路,能做出差异化的实验,发论文、做项目都很有价值;对于工程:它能解决小目标漏检、大目标定位不准的痛点,让你的检测系统在工业质检、智能安防等场景下更可靠;对于技术成长:掌握了SDI和BiFPN的设计逻辑,你再去看其他特征融合方法(比如FPN、PAN),会有“一通百通”的感觉,以后优化任何检测模型都能举一反三。如果你之前在目标检测的精度上遇到了瓶颈,不妨试试SDI+BiFPN——它就像给YOLOv11装上了“透视眼”,让模型能看清每一个细节。

FJN110的博客 301

POI版本升级导致的导入问题

POI导入EXCEL大数据问题解决

qq_45003757的博客 3524

innovus:streamOut gds中pg text带有冒号(:)解决办法

streamOut后查看layout,发现部分PG text后面加了冒号,比如VDD: / VSS:。当然,这个问题还有另一种解决办法,就是通过脚本给terminal打text再streamOut。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 1190

【OpenFOAM】-olaFlow-算例10-wavemakerTank

采用 Flap和Piston两种方式的动网格进行造波

ou_no的博客 2167

POI相关问题求助 报错RecordFormatException

问题描述: 3.9版本的POI上传.xls后缀的Excel表格会报错,如下图。但是Excel表格打开增加一行再删除保存后,重新上传就不会报错啦。

Theking258的博客 2319

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

Java POI PPT 转 PNG 图片设置背景色失效

使用 POI PPT 转 PNG 背景色失效。

lvtaos的博客 772

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Java重写(Override)、重载(Overload)、隐藏(Hide)

Java重写(Override)和重载(Overload) 重写(Override) 重写是子类对父类的允许访问的方法的实现过程进行重新编写, 返回值和形参都不能改变。即外壳不变,核心重写! 重写的好处在于子类可以根据需要,定义特定于自己的行为。 也就是说子类能够根据需要实现父类的方法。 重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如: 父类的一个方法申明了一个检查异常 IO...

weixin_41924879的博客 1149

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Java 12 Shenandoah GC

Shenandoah: An open-source concurrent compacting garbage collector for OpenJDK ABSTRACT Shenandoah is an open-source region-based low-pause paral-lel and concurrent garbage collection (GC) algorithm...

勿忘初心 7142

Java常用工具类方法(下)

Java常用工具类方法(下)

吴名氏的博客 13万+
上一篇: An I/O error occurred while sending to the backend.
下一篇: Caused by: net.sf.jsqlparser.parser.ParseException: Encountered unexpected token: “(“ “(“ at line 3,
沉没成本不参与重大决策
博客等级 码龄7年 35粉丝 80原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值