如何打开很大很大的文件---python

今天直接面对了一个很严重的问题,生成的一个大的字典,如何打开成了一个问题,因此发觉了一下这个问题:

基本原理:通过不断取1024KB为大小的内容,然后通过迭代器yield这个设备读取无限大的内容。

#coding=utf-8

import os.path
import time


'''
切分成小文件,然后读取

'''

def read_in_block(filepath):
    BLOCK_SIZE = 1024
    with open(filepath,'r') as f:
        while True:
            block = f.read(BLOCK_SIZE)
            if block:
                yield block
            else:
                return

if __name__ == '__main__':
    path=os.getcwd()
    filepath = path + '\pass.txt'
    start_time = time.time()
    for i in read_in_block(filepath):
        print i
    end_time = time.time()
    print 'Time is ',end_time - start_time
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值