- range和xrange的区别？ - 4G内存怎么读取一个5G的数据？

最新推荐文章于 2022-09-13 16:15:06 发布

巨基呀。

最新推荐文章于 2022-09-13 16:15:06 发布

阅读量403

点赞数

CC 4.0 BY-SA版权

分类专栏：面试题整理文章标签：面试题

本文链接：https://blog.youkuaiyun.com/qq_36171645/article/details/91350624

面试题整理专栏收录该内容

16 篇文章

订阅专栏

本文介绍在有限内存下处理大数据的两种方法：利用生成器分批读取和处理数据，以及通过Linux命令split将大文件切割为小文件进行处理。详细解释了生成器和迭代器的概念，并提供了具体的Python代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

range和xrange的区别？

两者用法相同，不同的是range返回的结果是一个列表，而xrange的结果是一个生成器，前者是
直接开辟一块内存空间来保存列表，后者是边循环边使用，只有使用时才会开辟内存空间，所以当列表很长时，使用xrange性能要比range好。

4G内存怎么读取一个5G的数据？

方法一：
可以通过生成器，分多次读取，每次读取数量相对少的数据（比如500MB）进行处理，处理结束后
在读取后面的 500MB的数据。

生成器：具有yield的函数就是生成器，是一个可以返回迭代器的函数
迭代器：知道遍历位置的对象，有iter()和next()方法

代码举例：

 def get_lines():  # 生成器
    with open('12306.py', 'r') as f:
        while True:
            data = f.readlines(100)
            if data:
                yield data
            else:
                break

f = get_lines()  # 迭代器对象
print(next(f))
print(next(f))
print(next(f))

方法二：
可以通过linux命令split切割成小文件，然后再对数据进行处理，此方法效率比较高。可以按照行
数切割，可以按照文件大小切割。

作用：split将一个文件分割成一个个指定大小的文件
使用语法： split [–help][–version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]
常用的选项是-b按照字节切割，-l按照行数切割
在黑窗口中输入命令，使用举例：

 python@ubuntu:~/Desktop$ split -l 2 requirements.txt re.txt

意思：按照两行切割requirements.txt文件，切割后的文件名叫re.txt。
回车后会生成好多re文件，里面都是两行代码