Linux 大文件文本处理

最新推荐文章于 2025-05-23 09:34:11 发布

原创

最新推荐文章于 2025-05-23 09:34:11 发布 · 2.4k 阅读

1 ·

CC 4.0 BY-SA版权

在面临处理100G的历史数据分析任务时，由于直接读取和按行处理效率低下，选择了利用Linux的split命令将大文件切割，并结合Pandas的chunksize和iterator选项进行分块读取和处理。这种方式既能避免内存溢出，又可实现并行处理，提高了效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：

最近项目在做数据分析，需要接入大量的客户数据；理论上如果我直接访问对方数据库不会慢的，但是对方不允许我们直接访问，要他们推送给我们，一个mysql数据库做中转，这中间写入mysql，我从mysql 读取，速度慢太多了。因此考虑历史数据通过文件发送给我们。综合考虑采用方案为实时数据采用推送，历史数据采用文件一次性给我们。这就带来了一个问题，历史数据有100G。直接读取，内存受不了。按行读取处理太慢。

问题描述：

由于我的要进行数据处理，我想通过pandas 做一个数据的筛选和预处理，所以我的文件想写入的是pandas，使用pandas模块来读取文件。直接读取会卡死机器。文件有70G大小。

解决方案：

经过调研：