python大文件迭代器的流式读取，之前一直使用readlines()对于大文件可以迅速充满内存，之前用法太野蛮暴力，要使用xreadlines或是直接是f,...

转载于 2013-09-10 19:05:00 发布 · 264 阅读

文章标签：

本文深入探讨了大数据处理与分析的关键技术，包括Hadoop、Spark、Flink等，并详细介绍了它们在实际应用中的作用及优缺点。同时，文章还提到了数据安全、测试、开发工具等配套技术，为大数据领域从业者提供了全面的技术指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python
#encoding=utf-8
import codecs
count =0L
#for line in file("./search_click.data.20130501-20130814").readlines():
#for line in file("./search_click.data.20130501-20130814").xreadlines():
for line in codecs.open("./search_click.data.20130501-20130814"):
        count += 1
        print line