8.Python生成器-经典应用读取1T大文件

有个面试题：
有一个文件 大概有1T，并且只有一行，行之间有分隔符，我们需要把文件内的数据一行一行的读取出来，
然后写入数据库里面。

遇到超大文件，不能直接放在内存中，要分段进行读取 以减少内存的占用
有人说取行可以用open，然后用for循环。

with open（“file”）as f:
     for i in f.readlines():
        print i 

由于它只有一行，你这样读取会把所有数据读取出来，1T内存谁也承受不了
，这是没有办法做到的。

注意 这句话 行之间有分隔符 ，这就是咱们的切入点 。

首先解释一个函数 file.read()
1.这个read 函数并不是一次读取所有，可以传入 int 参数，代表读取的字符数
2.连续调用，可以读取偏移量的值 。
有了这个我们的问题就迎刃而解。
例子如下：

file_phth