pandas memory error 跳坑记录

最新推荐文章于 2024-04-28 10:23:25 发布
原创 最新推荐文章于 2024-04-28 10:23:25 发布 · 1.2w 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了解决使用pandas从CSV文件读取数据时遇到MemoryError的方法。问题出现在尝试读取小于200M的CSV文件时，通过将Python环境升级到64位并采用Anaconda安装方式得以解决。
部署运行你感兴趣的模型镜像

问题描述

使用pandas处理数据想必从事数据处理相关的童鞋没有不知道的，从csv文件用一个pd.read_csv 读入，之后随你怎么玩。最近在做数据预处理工作时，遇到了一个头疼事儿，程序每每执行到 pd.read_csv时，总是报memory error，本机8g内存，csv只有200m不到，怎么着也不应该啊！！最后各种翻stackoverflow，终于找到症结所在：

  • 请把python换成x64

没错就这么简单！

附送

用过pandas的应该都知道，在win上装pandas，想顺顺利利不折腾简直就是不可能的事儿，各种依赖搞到头大，又加上国内这恶心死人不偿命的网络，所以把python换成X64可能还真没那么容易，稍安勿躁，神器来了：

  • 请用 Anaconda，选一个X64的，直接下载安装就好，图形化，安装完自带一个python X64版本+全套数据分析包，当然其中就有pandas，而且还自带一个ipython及其他工具，不流氓，甚至强烈推荐第一次安装python就直接用这个。

The end

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

pandas.errors.ParserError: Error tokenizing data. C error: out of memory
weixin_46713695的博客
08-18 1321
out of memory 问题解决
@Pandas ERROR:ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malform
alston_ethannical的博客
12-23 1271
@Pandas ERROR:ParserError: Error tokenizing data. C error: Buffer overflow caught - possible malform
pandas处理数据报错， MemoryError:，内存问题
MRLeebo的博客
07-02 3088
错误提示： MemoryError: Unable to allocate 114. MiB for an array with shape (37, 405020) and data type float64 处理的是37列，405万行的表格数据，运行的时候内存还有2000多M可用，但是还是报错了，不知道是什么原因，在哪个地方设置了内存限制。后面继续研究下。 解决方案 发现数据类型都是float64，我改成了float16，减小数据占用内存，后面就可以顺利执行了。 之前是写 astype(float) 改
Pandas处理数据出现MemoryError与Anaconda的安装
ChenHaoUESTC的博客
10-19 5990
Pandas处理数据出现MemoryError与Anaconda的安装使用Python与Pandas对数据进行处理时，会产生MemoryError的问题，如下图所示，因为博主的编译环境为Python2.7.13，但是Python为32位时，Pandas处理数据的使用内存为4G左右，经常会出现MemoryError的问题，因为内存不够导致程序无法运行。 解决方法：安装Anaconda的64位的版
python pandas读取csv文件报错：MemoryError
ling_lang的博客
05-31 1592
原因 一般出现这样的情况，是由于读取的数据量过大，内存使用到一定时会终止内存 如果你的Python是32位的，那么你的pandas和Numpy也只能是32位的，当你的内存使用超过2G时，就会自动终止内存。 解决办法 终极解决方法：再安装一个64位的python，并且重写安装64位的所需的API，可以当副本使用，再你需要读取大文件时切换这个副本使用就基本没问题了 ...
pandas memory error
dlhlSC的博客
04-03 3477
之前因为很多库对于64位的python版本在安装时出现问题，于是换了32位的python。在用pandas读取大量数据时，便出现了内存不足的情况，32位python最多可用内存为2G。 换成64位内存利用率就高很多。 如果想安装简便，下载64位Anaconda一键安装就好，省下很多安装error。
python 内存溢出_python panda读写内存溢出：MemoryError
weixin_39608134的博客
11-29 854
pandas中read_xxx的块读取功能pandas设计时应该是早就考虑到了这些可能存在的问题，所以在read功能中设计了块读取的功能，也就是不会一次性把所有的数据都放到内存中来，而是分块读到内存中，最后再将块合并到一起，形成一个完整的DataFrame。def read_sql_table(table_name, con, schema=None, index_col=None,coerce_...
详解解决Python memory error的问题（四种解决方案）
09-18
标题中提到的"Python memory error"是一个在使用Python处理大型数据集时经常遇到的问题。内存错误通常发生在内存不足以处理所有数据的情况下，尤其是在处理大型文件如CSV文件时。在描述中提到，即使是拥有较高配置的...
MemoryError.md
12-03
在处理大型数据集时，尤其是CSV文件，程序常常会遇到`MemoryError`，这是因为尝试将大量数据加载到内存中时超出了物理内存的限制。为了解决这个问题，我们可以采取以下几种策略： 首先，我们可以采取数据分块的方式...
pandas读取大文件时memoryerror的解决办法
lq497028254的博客
03-03 6637
pandas读取大文件时memoryerror的解决办法 再用pd.read_csv读取大文件时，如果文件太大，会出现memoryerror的问题。 解决办法一：pd.read_csv的参数中有一个chunksize参数，为其赋值后，返回一个可迭代对象TextFileReader，对其遍历即可 reader = pd.read_csv(file_path, chunksize=20)　...
解决python报错MemoryError的问题
09-20
今天小编就为大家分享一篇解决python报错MemoryError的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
[pandas] MemoryError: Unable to allocate array with shape (x, x) and data type float64
饶一熊的博客
03-19 1334
[Linux] [Python] MemoryError: Unable to allocate array with shape (x, x) and data type float64 错误信息 MemoryError: Unable to allocate array with shape (86, 1270780) and data type float64 原因分析 据传 [1] 是因...
pandas 用df.to_excel()将dataframe保存至Excel时报出“MemoryError”错误的解决办法
xue_11的博客
06-29 1万+
一、原因 使用pandas 中to_excel函数对数据量大的dataframe数据写入的时候，有时候会报出“MemoryError”错误。 如下代码： import pandas as pd import numpy as np # 生成dataframe数据并写入Excel表中 df = pd.DataFrame(np.arange(12000000).reshape(300000,40)) # print(df) df.to_excel('test.xlsx',index=False) 运行结果
记一次 pandas 大数据写入mysql内存溢出问题
yangzhijun6699的博客
07-08 932
记一次 pandas 大数据写入mysql内存溢出问题 pandas中dateframe的to_mysql方法可以将df数据存入Mysql,但是，数据量太大时，会报merroy erro 错误，原因就是存入mysql时内存溢出了，这是不要忘记方法中： DataFrame.to_sql(name, con, schema=None, if_exists='fail', index=True, index_label=None, chunksize=None, dtype=None, method=None)
已解决Python报错Memoryerror的正确解决方法，亲测有效
PythonAigc的博客
04-28 4227
MemoryError 通常表明你的程序试图使用的内存超过了可用内存的限制。这可能是由于你的程序本身的设计问题，也可能是因为你的运行环境（例如，服务器或本地计算机）的内存资源有限。 报错原因 大数据集：如果你正在处理大型文件或数据集（例如，大型图像、视频文件或数据库），并且一次性将它们加载到内存中，这可能导致内存不足。 内存泄漏：如果你的程序创建了很多对象，但没有正确地释放它们（例如，忘记关闭文件句柄或数据库连接），这些对象会占用内存，导致内存泄漏。 递归调用过深：过深的递归调用可能导致栈溢出，间接导致内
[Python Debug] pandas.read_csv读取csv文件时提示：pandas.errors.ParserError: Error tokenizing data.
枪枪枪的博客
04-22 4984
一、错误信息 Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] on win32 runfile('E:/PythonProject/PyCharm 2018.2.3/DataScreening/data_processing.py', wdir='E:/PythonProject/PyCharm 2...
Python MemoryError
热门推荐
xiaopihaierletian的博客
02-26 1万+
在用Python处理大数据时，本来16G的内存，内存还没使用四分之一就开始报MemoryError的错误，后来才知道32bit的Python使用内存超过2G之后，就报这个错误，还没有其他的提示消息。果断换64bit的Python。 一开始安装32bit的Python，是因为numpy和scipy官方版本只支持32bit的，后来又找到了非官方的版本http://www.lfd.uc
已解决MemoryError异常的正确解决方法，亲测有效！！！
小明的Java问道之路
02-19 7814
已解决MemoryError异常的正确解决方法，亲测有效！！！
仍提示MemoryError
最新发布
11-05
# 代码概述 当处理大量 Excel 文件时，即使优化了资源管理，仍可能出现 `MemoryError`，原因在于 **`pandas` 将所有数据加载至内存**。本次优化目标是彻底解决内存溢出问题，采用 **逐批次写入 + 零内存累积** 策略，确保最大内存占用始终可控。 --- # 代码解析 ```python import pandas as pd import os from datetime import datetime # 记录开始时间 t_0 = datetime.now() # 定义路径 input_dir = 'D:/Share/数据/消金报表/存量/' output_file = os.path.join(input_dir, '消金存量合并清单.xlsx') # 获取目标文件 files = [f for f in os.listdir(input_dir) if f.startswith('存量综拓') and f.endswith('.xlsx')] # 确保输出目录存在 os.makedirs(os.path.dirname(output_file), exist_ok=True) # 创建 ExcelWriter 对象（使用 openpyxl 引擎） with pd.ExcelWriter(output_file, engine='openpyxl', mode='w') as writer: sheet_written = False # 控制是否已写入表头 for file in files: file_path = os.path.join(input_dir, file) # 从文件名提取日期（例：存量综拓_20251104.xlsx → 2025-11-04） try: date_str = file[-13:-5] # 提取 YYYYMMDD formatted_date = f"{date_str[:4]}-{date_str[4:6]}-{date_str[6:8]}" except: formatted_date = "未知日期" # 使用 pd.ExcelFile 读取每一个 sheet with pd.ExcelFile(file_path) as xls: for sheet_name in xls.sheet_names: # 读取当前 sheet df = pd.read_excel(xls, sheet_name=sheet_name) # 添加“名单下发时间” df['名单下发时间'] = formatted_date # 删除“券内容”列（如果存在） if '券内容' in df.columns: df = df.drop(columns=['券内容']) # 第一次写入带表头，后续追加不带表头 df.to_excel( writer, sheet_name='合并数据', startrow=0 if not sheet_written else writer.sheets['合并数据'].max_row, header=not sheet_written, index=False ) sheet_written = True print(f"合并完成，耗时：{datetime.now() - t_0}") ``` --- ### ✅ 终极优化：**避免任何内存累积** | 优化点 | 说明 | |--------|------| | **使用 `ExcelWriter` 的追加写入能力** | 利用 `startrow` 动态计算下一行位置，实现“流式写入” | | **不缓存任何数据块（`chunks = []` 被移除）** | 每次读取一张表就立即写入 Excel，内存中只保留当前表 | | **零 `pd.concat` 操作** | 彻底消除因合并 DataFrame 导致的内存翻倍问题 | | **显式控制表头写入一次** | `header=not sheet_written` 保证只写一次列名 | > ✅ 此方案可处理 **TB级以下数据**，只要单个 sheet 不超过内存即可。 --- ### 🔍 为什么这能解决 `MemoryError`？ - 原因：`pd.concat(chunks)` 会在内存中同时保留原始各块 + 新合并数组 → 内存瞬间翻倍。 - 本方案：每处理完一个 sheet 就写入文件并丢弃 → 内存只保留 **当前 sheet 数据**。 - 即使有 1000 个文件，也只占用单个文件的内存空间。 --- ### ⚠️ 注意事项 1. **Excel 行数限制**：`.xlsx` 单表最多 1048576 行，接近时建议改用 `.csv`。 2. **性能提示**：频繁调用 `to_excel` 会有 I/O 开销，但远小于内存溢出风险。 3. **临时文件问题**：使用 `with pd.ExcelWriter` 可确保临时文件正确清理，避免 `[WinError32]` 错误。 --- # 知识点（列出该代码中遇到的知识点） - **$ExcelWriter$ 的动态写入机制** 利用 `startrow` 和已有 `sheet.max_row` 实现跨 multiple $DataFrame$ 追加写入。 - **零内存累积的数据流设计** 不缓存中间结果，每批次处理后立即释放，适用于超大数据集。 - **文件名解析与字段注入** 从文件名提取日期并作为新列加入 $DataFrame$，常用于日志类数据整合。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值