Python 利用迭代器or生成器，让小内存也能处理大文件

nvd11

于 2024-05-13 01:51:30 发布

阅读量334

点赞数 1

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/nvd11/article/details/138774821

版权

首先
准备1个log 文件 app.log 它有60000 行数据

from loguru import logger
import os

def sample1():
    log_path = get_log_path()
    with open(log_path, "r") as f:
        list_logs = f.readlines()

    logger.info("length of app.logs: {}".format(len(list_logs)))


# get project path
def get_project_path():
    return os.path.dirname(os.path.dirname(os.path.dirname(__file__)))

# get log path
def get_log_path():
    import os
    return os.path.join(get_project_path(), "logs", "app.log")


if __name__ == "__main__":
    sample1()