使用python读取较大.csv文件行数

最新推荐文章于 2024-04-01 17:31:19 发布

原创最新推荐文章于 2024-04-01 17:31:19 发布 · 2.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #csv

小工具专栏收录该内容

5 篇文章

订阅专栏

pandas直接读取

我只要读一个文件的行数，最开始没想到内存的问题，想着用pandas库做：

df = pd.read_csv(directory)
print('***************当前文件有' + str(len(df)) + '行数据***************')

文件大概10个G
内存爆掉，失败

使用 with open（） as 读写文件

参考：
https://blog.youkuaiyun.com/xrinosvip/article/details/82019844
https://blog.youkuaiyun.com/weixin_36276175/article/details/112928297

with open(filename) as foo:
     lines = len(foo.readlines())
print(lines)

先读了一个小一点的文件试了下，感觉速度慢

上网搜到了一个函数，也不算很快，但是是可以接受的速度。

def get_file_count_1(file_path):
     cnt = 0
     with open(file_path,mode = 'rb') as f:
         for line in f:
             cnt += 1
     return cnt

这个程序是在这里看到的：https://blog.youkuaiyun.com/qq_42902673/article/details/105918766?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-5&spm=1001.2101.3001.4242

其他参考

有写多线程的什么的，看不懂，先马一下
https://blog.youkuaiyun.com/p15097962069/article/details/103547812?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-9&spm=1001.2101.3001.4242