read_csv 读取大文件出现Memory error问题

已于 2023-02-25 15:58:51 修改
阅读量267 收藏
点赞数
文章标签： pandas python 机器学习
于 2023-02-25 15:51:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_57158553/article/details/129216695
版权

今天在读取一个超大csv文件的时候,遇到困难:pandas.read_csv打开文件时:MemoryError

最后查阅read_csv文档发现可以分块读取。

read_csv中有个参数chunksize,通过指定一个chunksize分块大小来读取文件

chunksize可以指定读的数据分成几块

一个采购
关注
100天精通Python（数据分析篇）——第56天：Pandas读写txt和csv文件（read_csv、to_csv参数说明+代码实战）
努力让自己发光，对的人才能迎着光而来
09-19 1万+
100天精通Python（数据分析篇）——第56天：Pandas读写txt和csv文件（read_csv、to_csv） 一、文本文件 1. read_csv() skiprows nrows index_col names 2. to_csv() sep na_rep columns header index
使用read_csv方法读取数据文件报错
weixin_44596411的博客
05-20 3113
读取文件并打印 import pandas as pd csv_data = pd.read_csv('train.csv',names=['review','label']) print (csv_data) 报错 Traceback (most recent call last): File “G:/data/readdata.py”, line 2, in csv_data = pd.r...
python缓存memoryerror_关于内存：Python MemoryError – 有没有更有效的方法来处理我庞大的CSV文件？...
weixin_29669143的博客
01-14 342
[使用Python3.3]我有一个巨大的CSV文件，其中包含XX万行并包含几列。 我想读取该文件，添加几个计算列并吐出几个"分段"的csv文件。 我在下面的代码中尝试了一个较小的测试文件，它完全符合我的要求。 但现在我正在加载原始的CSV文件(大约3.2 GB)，我收到内存错误。 是否有更高效的内存编写以下代码？请注意，我是Python的新手，因此可能有很多我不太了解的东西。输入数据示例：emai...
python pandas读取csv文件报错：MemoryError
ling_lang的博客
05-31 1525
原因 一般出现这样的情况，是由于读取的数据量过大，内存使用到一定时会终止内存 如果你的Python是32位的，那么你的pandas和Numpy也只能是32位的，当你的内存使用超过2G时，就会自动终止内存。 解决办法 终极解决方法：再安装一个64位的python，并且重写安装64位的所需的API，可以当副本使用，再你需要读取大文件时切换这个副本使用就基本没问题了 ...
关于读取大型CSV文件出现内存爆掉的情况，以及解决方法。
m0_57158553的博客
02-26 1095
机器学习中的问题
pandas读取csv报read csv out of memory
修炼之路
05-15 4016
GMTDetect languageAfrikaansAlbanianArabicArmenianAzerbaijaniBasqueBelarusianBengaliBosnianBulgarianCatalanCebuanoChichewaChinese (Simplified)Chinese (Traditional)CroatianCzechDanishDutchEnglishEsperan...
python用read_csv读取大文件出现内存溢出（memoryerror）
enjoy
04-27 7796
在读取文件的read_csv中加入iterator=True,之后调用get_chunk(number) number:数据的条数
100天精通Python数据分析——Pandas读写txt和csv文件（read_csv、to_csv）
m0_72557783的博客
09-19 1393
文本文件，主要包括csv和txt两种等，相应接口为read_csv()和to_csv()，分别用于读写数据
【Pandas总结】第二节 Pandas 的数据读取_pd.read_csv()的使用详解（非常全面，推荐收藏）
热门推荐
weixin_47139649的博客
09-09 11万+
pandas对纯文本的读取提供了非常强力的支持，参数有四五十个。这些参数中，有的很容易被忽略，但是在实际工作中却用处很大。
Pandas的read_csv和 to_csv函数参数分析详解 ，pandas的read_csv和to_csv使用方法
python深度学习笔记,一起学习的加QQ2737499951
12-01 1万+
Pandas的read_csv和 to_csv函数参数分析详解 1. read_csv read_csv方法定义 pd.read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False,...
pandas读取大规模数据（2g以上不适合直接read）
机器学习VVVVVVVVIP
08-03 3512
读取2g以上数据适用，暂未探索其上限。 import pandas as pd reader = pd.read_csv('hlj_all_addr.csv', iterator=True) loop = True chunkSize = 100000 chunks = [] while loop: try: chunk = reader.get_chunk(chunkSize) chunks.append(chunk) except StopIterati
MemoryError的处理方式
Explore
07-21 1万+
MemoryError几种处理方式： 1. 低精度保存数据； 2. 更新Python为64位； 3. 修改PyCharm运行内存； 4. 扩充虚拟内存； 5. 优化数据读取方式； 6. 手动回收变量。
深度学习解决Unable to allocate 33.6 GiB for an array with shape (60000, 224, 224, 3) and data type float32
wang_jiezeng的专栏
03-23 7488
深度学习时，如何最大限度发挥本机潜力，解决卡机问题?
已解决Python读取20GB超大文件内存溢出报错MemoryError
努力让自己发光，对的人才能迎着光而来
01-15 2万+
已解决Python读取20GB超大文件内存溢出报错MemoryError
python读取csv文件时报错的几种解决方法
weixin_57047167的博客
03-08 3582
【代码】python读取csv文件时报错的几种解决方法。
python报错MemoryError: Unable to allocate 247. MiB for an array with shape (1, XX) and data type int64
qq_41582187的博客
12-27 1万+
使用pandas 读取一个比较大的CSV文件时报错：MemoryError: Unable to allocate 247. MiB for an array with shape (1, 32434489) and data type int64 解决过程： 1.上网搜了有人说是因为文件过大，内存不够了，但是我是在D盘运行的，D盘相对于文件来说还有很大空间，所以不是这个问题。 2.又有网友说是因为python是64位的，anaconda是32位的，所以不兼容，但是我安装的确实是64位的anaconda。
pandas读取大文件时memoryerror的解决办法
lq497028254的博客
03-03 6549
pandas读取大文件时memoryerror的解决办法 再用pd.read_csv读取大文件时，如果文件太大，会出现memoryerror的问题。 解决办法一：pd.read_csv的参数中有一个chunksize参数，为其赋值后，返回一个可迭代对象TextFileReader，对其遍历即可 reader = pd.read_csv(file_path, chunksize=20)　...
pandas.read_csv——分块读取大文件
I'm zm
05-11 7万+
今天在读取一个超大csv文件的时候，遇到困难： 首先使用office打不开 然后在python中使用基本的pandas.read_csv打开文件时：MemoryError 最后查阅read_csv文档发现可以分块读取。 read_csv中有个参数chunksize，通过指定一个chunksize分块大小来读取文件，返回的是一个可迭代的对象TextFileReader，IO
Python的read_csv()读取大文件问题解决
思过留痕
11-15 2万+
通过普通的read_csv（）方式读取几个G的csv文件，耗时长，读不出，卡到电脑崩溃掉，结果。。。死机，强制重启 。 千万别写成： import pandas as pd merge_dt = pd.read_csv( cwd + '\\' + SaveFile_Path + '\\' + SaveFile_Name, encoding="utf_8", engine='python' ) ...
pd.read_csv
最新发布
06-01
这行代码使用 Pandas 库中的 `read_csv` 函数来读取一个 CSV 文件。CSV 文件是一种常见的表格数据存储格式，其数据以逗号分隔，每行代表表格中的一行数据，每列代表表格中的一个字段。`read_csv` 函数可以读取一个 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值