用python快速读取大文件几个GB以上的csv数据文件

东木月

于 2024-04-16 00:03:45 发布

阅读量581

点赞数 9

分类专栏： python python性能提升文章标签： python 开发语言

本文链接：https://blog.youkuaiyun.com/lm_is_dc/article/details/137800250

版权

230 篇文章 ¥29.90 ¥99.00

订阅专栏

10 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍如何使用Python通过next()函数逐行读取几GB大小的CSV文件，以实现高效的文件处理。文章内容包括文件格式说明、处理流程及具体代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

遇到几个GB的csv大文件，用python读取时，可以通过next()函数一行行来读取以提高效率，然后分批量进行处理。

在这里插入图片描述
其中第一、第二行是数据行数、列数汇总。

1、把csv第一、第二行的数据说明，先读取出来并转换成字典
2、循环行数，使用next()一行行读取
3、把读取出来的数据分批量进行处理
4、比如画图显示、滤波处理等

# -*- coding: utf-8 -*-

"""
@contact: 微信 1257309054
@file: 读取与写入csv.py
@time: 2024/4/16 18:25
@author: LDC
"""
<

了解本专栏