pandas.read_csv分块读取大文件

最新推荐文章于 2025-07-22 19:04:42 发布
原创 最新推荐文章于 2025-07-22 19:04:42 发布 · 4.7k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pandas #u

当面临大文件无法一次性加载到内存时，可以利用pandas的read_csv函数配合chunkSize参数进行分块读取。通过设置chunkSize或iterator=True，返回可迭代的TextFileReader对象，实现大文件的逐块处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近，下载了一个csv结构的数据集，有1.2G。对该文件试图用pd.read_csv进行读取的时候，发现出现内存不足的情况

，电脑内存不足，不能一次性的读取。此时我们就需要对csv文件进行分块读取。

在对数据进行分块读取之前，我们需要对pd.read_csv()中的参数进行一定的了解，pandas.read_csv()官方文档。如果英文看不懂的可以去网上找一下别人翻译出来的。 

在官方文档中，read_csv()函数有一个chunkSize参数，通过指定一个chunk Size分块大小来读取文件，返回的是一个可迭代的对象Text FileReader

当我们指定read_csv()中的iterator参数为True时，也可以返回一个可以迭代的对象TextFileReader。

 

  

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python与Pytorch系列(一) 本文(2万字) | 解析python中的pandas.read_csv() | pandas.read_json() | pandas.read_excel()
专注于人工智能学习，总结
12-25 1192
官方网站pandas是一个Python包，并且它提供快速，灵活和富有表现力的数据结构。这样当我们处理"关系"或"标记"的数据（一维和二维数据结构）时既容易又直观。pandas是我们运用Python进行实际、真实数据分析的基础，同时它是建立在NumPy之上的。pandas.csv() 函数将逗号分离的值 （csv） 文件读入数据框架。还支持可选地将文件读入块或将其分解。源文件。
python read_csv函数_Pandas的read_csv和 to_csv函数参数分析详解 ，pandas的read_csv和t
weixin_39559079的博客
02-19 1265
Pandas的read_csv和 to_csv函数参数分析详解1. read_csvread_csv方法定义pd.read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None,index_col=None, usecols=None, squeeze=False, prefix=None, mang...
python读取几个G的csv文件方法
12-25
如下所示： import pandas as pd file = pd.read_csv('file.csv',iterator=True) while True: chunk = file.get_chunk(1000) print(chunk.head(10)) print(chunk.tail(10)) 以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文章:python读csv文件时指定行为表头或无表头的方法Python把对应格
pandas.read_csv——分块读取大文件
热门推荐
I'm zm
05-11 7万+
今天在读取一个超大csv文件的时候，遇到困难： 首先使用office打不开 然后在python中使用基本的pandas.read_csv打开文件时：MemoryError 最后查阅read_csv文档发现可以分块读取。 read_csv中有个参数chunksize，通过指定一个chunksize分块大小来读取文件，返回的是一个可迭代的对象TextFileReader，IO
用python pandas按块读取超大csv/txt
sinolzeng的专栏
02-23 6597
如果一个csv文件过大，比如说达到好几G，直接读取的话内存估计hold不住，幸好pandas支持使用chunksize指定行数，每次按多少行多少行来读取，这样就避免了一次性读取过多数据导致内存崩溃。 用row["某个列的名称"] 即可读取该列的对应数据了，之后就可以进行数据处理了。 import pandas as pd chunksize = 1000 count = 1 for df in pd.read_csv('1.txt',chunksize=chunksize): print(cou
第二章 解析python中的pandas.read_csv()，pandas.read_json()，pandas.read_excel()(工具)
专注于人工智能学习，总结
11-17 317
官方网站pandas是一个Python包，并且它提供快速，灵活和富有表现力的数据结构。这样当我们处理"关系"或"标记"的数据（一维和二维数据结构）时既容易又直观。pandas是我们运用Python进行实际、真实数据分析的基础，同时它是建立在NumPy之上的。pandas.csv() 函数将逗号分离的值 （csv） 文件读入数据框架。还支持可选地将文件读入块或将其分解。
Pandas的read_csv和 to_csv函数参数分析详解 ，pandas的read_csv和to_csv使用方法
python深度学习笔记,一起学习的加QQ2737499951
12-01 1万+
Pandas的read_csv和 to_csv函数参数分析详解 1. read_csv read_csv方法定义 pd.read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False,...
pandas分块读取较大csv的方法
leokingszx的博客
11-14 6513
对于几百MB的CSV文件，可以直接使用pd.read_csv（）进行读取。然而如果csv文件太大，达到几个Gb，这种方法就不可取。 这时应使用chunk，进行分块读取——   如 user= pd.read_csv('data.csv', chunksize= 20000) count = 0 for df in user: count += 1 print count ...
python学习-读取csv大文件
最新发布
Tony_long7483的博客
07-22 196
python学习-读取csv大文件
python 读取超大csv文件
weixin_42499379的博客
07-29 285
python相关学习资料：https://edu.51cto.com/video/3502.htmlhttps://edu.51cto.com/video/3832.htmlhttps://edu.51cto.com/video/4102.htmlPython 读取超大 CSV 文件的指南 作为一名经验丰富的开发者，...
python 读巨大的csv
weixin_40371111的博客
07-22 184
python相关学习资料：https://edu.51cto.com/video/4102.htmlhttps://edu.51cto.com/video/4645.htmlhttps://edu.51cto.com/video/3502.html如何使用Python读取巨大的CSV文件 作为一名刚入行的开发者，面对...
【Pandas】深入解析`pd.read_csv()`函数
2402_83361138的博客
05-08 1458
函数是 Pandas 中处理 CSV 数据集的强大工具。通过了解和掌握其各种参数，我们可以灵活地读取和处理各种格式的 CSV 文件。在数据分析的工作中，这将大大提高我们的工作效率。希望这篇博客能帮助你更好地理解和使用函数。如果你有任何问题或想要了解更多，请在评论区告诉我。
python3读取超大csv文件
chenhyc的博客
07-02 1379
python3读取超大csv文件
Pandas数据集的分块读取
文程序公子的博客
07-24 2937
所谓“分块”，顾名思义，就是将数据集分成几块进行读取，比如有105条数据，一次读取10条，读取11次才能全部读完。以下提供两种分块读取的方法，两种方法各有优劣。
python读取大文件csv_python项目实践分享：使用pandas处理大型CSV文件
weixin_39897449的博客
11-24 894
CSV(Comma Separated Values)作为一种逗号分隔型值的纯文本格式文件，在实际应用中经常用到。如数据库数据的导入导出、数据分析中记录的存储等。因此很多语言都提供了对CSV文件处理的模块。Python也不例外，其模块csv提供了一系列与CSV处理相关的 API。我们先来看一下其中几个常见的API：1.reader(csvfile[,dialect='excel'][, fmtpa...
详解pandas的read_csv方法
yygr的博客
03-14 5812
而为了保证正常读取，就会把类型像大的方向兼容，比如第一块的user_id被解析成整型，但是在解析第二个块发现user_id有的值无法解析成整型，那么类型整体就会变成字符串，于是pandas提示该列存在混合类型。之前，我们在上面介绍了dtype，这个是我们手动规定类型，那么pandas就会按照我们规定的类型去解析指定的列，但是一旦无法解析就会报错。然后再读取下一块，会再对类型进行一个判断，得到每一列的类型，如果得到的结果和上一个块得到结果不一样，那么就会发出警告，提示有以下的列存在多种数据类型。
Python 读取大文件方法
机器之我心的博客
05-30 2845
一般通过with open('d:/abalone.txt','r') as f: f.read()这种方法一般对小文件合适，但对于大文件需要分块处理，方法主要有：（1）一行一行读，自己通过程序控制行的数据，然后进行处理。with open('d:/abalone.txt','r') as f:        while  True:        line=f.readline()       ...
pd.read_csv如何读取文件
03-27
### pandas `read_csv` 方法使用教程 #### 1. 基本功能介绍 Pandas 提供了一个强大的工具 `read_csv()` 来处理 CSV 文件。该方法可以用于本地文件以及远程 URL 数据源的读取操作。 以下是几个常见的场景及其实现方式： --- #### 2. 读取文件最后 N 行数据并保留表头 如果需要读取文件中的最后几行数据，可以通过设置参数 `skiprows` 和计算总行数的方式完成此目标。具体代码如下所示： ```python import pandas as pd n = 5 # 需要获取的最后五行数据 df = pd.read_csv("example.csv", skiprows=lambda x: x < (pd.read_csv("example.csv").shape[0] - n)) print(df.head()) ``` 上述代码通过动态跳过前 `(total_rows - n)` 行实现了只加载最后 N 行的功能[^1]。 --- #### 3. 从网络 URL 中读取 CSV 数据 当数据存储在网络上的某个位置时，可以直接传递 URL 给 `read_csv()` 函数作为输入路径。例如： ```python url = 'https://raw.githubusercontent.com/user/repo/data/sample.csv' df_url = pd.read_csv(url) print(df_url.head()) ``` 这种方式适用于公开访问的数据集或者经过身份验证后的私有资源链接。 --- #### 4. 处理含有错误记录的 CSV 文件 有时遇到一些不符合标准格式的行会引发解析失败的情况，在这种情况下可以利用 `error_bad_lines=False` 参数忽略这些有问题的内容继续执行后续流程。 ```python df_error_handling = pd.read_csv("data_with_errors.csv", on_bad_line='skip') # 注意：在较新的版本中已改为on_bad_line代替error_bad_lines print(df_error_handling) ``` 这里展示了如何优雅地避开那些无法正常解读的部分而不中断整个程序运行过程[^3]。 --- #### 5. 支持多种压缩类型的文件读入 除了普通的 `.csv` 格式的文档外，还可以轻松应对诸如 ZIP 或 GZipped 形态下的同类型资料包。只需简单指定额外的关键字即可自动解压后再导入内存之中。 ```python compressed_df = pd.read_csv('archive.zip', compression='zip') gzipped_df = pd.read_csv('file.gz', compression='gzip') ``` 这表明即使面对被封装起来的大批量原始素材也无需担心兼容性问题存在[^2]。 --- #### 6. 对超大规模数据实施分块读取策略 针对特别庞大的表格结构而言，则推荐采用迭代器模式逐步提取所需片段从而减少一次性占用过多系统资源的风险。 ```python chunksize = 10 ** 6 chunks = [] for chunk in pd.read_csv('large_file.csv', chunksize=chunksize): chunks.append(chunk) final_dataframe = pd.concat(chunks, axis=0) del chunks # 清除不再使用的中间变量释放空间 ``` 这种方法非常适合用来分析海量级别的业务日志或者其他形式的历史积累型档案材料[^4]。 --- ### 总结 以上就是关于 Pandas 库下核心组件之一 —— `read_csv()` 的详细介绍及相关技巧分享。无论是基础应用还是高级定制化需求都能得到满足！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值