[python优化]readlines内存溢出

最近遇到诡异问题，代码跑了2个小时，还没有跑出来，被运维组的同学给杀掉了。

看了下记录的日志，发现是在执行如下代码的时候卡住了：

for line in fp_des.readlines(): 
                line_arr=line.strip().split("\005",max(email_pos,prod_pos)+1)
                email_data=line_arr[email_pos]
                prod_data=""
                if(prod_pos>0):
                    prod_data=line_arr[prod_pos]
                if(email_data!=tmp_email):
                    prod_rank=1
                    tmp_email=email_data
                else:
                    prod_rank+=1
                
                sendDetailFileEntry.writeLine(action_id,email_data, prod_data, prod_rank) 

看了下python的文档，发现readlines的问题，它会将整个文件的内容读到内存中，然后转换为一个数组。

我看了下文件的大小为21G。难怪了，将readlines改成readline，就ok，后者是一条一条的读取的，不会消耗很大的内存。

line=fp_des.readline()
        while(line): 
                line_arr=line.strip().split("\005",max(email_pos,prod_pos)+1)
                email_data=line_arr[email_pos]
                prod_data=""
                if(prod_pos>0):
                    prod_data=line_arr[prod_pos]
                if(email_data!=tmp_email):
                    prod_rank=1
                    tmp_email=email_data
                else:
                    prod_rank+=1
                
                sendDetailFileEntry.writeLine(action_id,email_data, prod_data, prod_rank)    
                line=fp_des.readline()

总结：小文件，可以用readlines，大文件，可以用readline。前者效率高，后者不会把内存撑爆。