Python 线程池/进程池 内存管理

本文介绍了一个使用concurrent.futures线程池爬取网站数据时遇到的内存溢出问题及解决方案。通过限制并行任务数量和及时清理已完成任务,有效降低了内存占用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

concurrent.futures 线程池/进程池内存管理

起因

之前进行爬虫任务的时候遇到了这么一个需求,1G 内存的机器跑爬虫,爬取一个网站的数据,之前使用的是这样一种方式:

 futures = list()
 with ThreadPool(max_workers=20) as exc:
      for tr in table.select("tr"):

          # 取线程执行结果
          future = exc.submit(self.get_asn, tr.strings)
          futures.append(future)

# 使用 as_completed 异步方式处理完成任务的线程
for future in as_completed(futures):
    result = future.result()
    # 拼接 asn.json 的 path
    file_path = result["asn"] + ".json"
    asn_file = os.path.join(self.base_data_path, file_path)

    with open(asn_file, "w", encoding="utf8") as f:
        f.write(json.dumps(result))

使用了 concurrent.futures 的 ThreadPoolExecutor submit 方法,因为开启了20个线程同时爬取,连接网站的速度还很快,任务很快就被处理完成了,可以看到我时完成一个任务的时候就进行写文件了操作,但是2分钟后很快程序就终止了,监控程序发现时由于程序内存占用达到 80% 被系统 Kill 掉了。

  • 为什么内存会爆呢?监控内存显示,程序处理完任务之后,内存并没有被立刻释放,而是有很长时间延迟之后才被释放( 在此吐槽 python GC)

改进方法:

参考 https://stackoverflow.com/questions/34770169/using-concurrent-futures-without-running-out-of-ram

# 允许同时进行的工作数
MAX_JOBS_IN_QUEUE = 1000


tr_list = table.select("tr")
tr_left = len(tr_list) - 1  # <----
tr_iter = iter(tr_list)  # <------
jobs = dict()

  with ThreadPool(max_workers=20) as exc:
      while tr_left:
          print("#" * 100, "TASK: {} <===>  JOB: {}".format(tr_left, len(jobs)))
          for tr in tr_iter:
              # 取线程执行结果
              job = exc.submit(self.get_asn, tr.strings)
              jobs[job] = tr
              if len(jobs) > MAX_JOBS_IN_QUEUE:
                  break  # limit the job submission for now job

          # 使用 as_completed 异步方式处理任务线程
          for job in as_completed(jobs):
              tr_left -= 1  # one down - many to go...   <---
              result = job.result()
              # 从字典中删除结果,因为我们不需要存储它
              del jobs[job]

              # 拼接 asn.json 的 path
              file_path = result["asn"] + ".json"
              asn_file = os.path.join(self.base_data_path, file_path)

              with open(asn_file, "w", encoding="utf8") as f:
                  f.write(json.dumps(result))
              break

改进后内存在切换 html 爬取的时候,会偶尔会升高一下,最高 65%,平均在 35% 左右。

  • ProcessPoolExecutor 进程同理
### Python线程池进程池的概念 在 Python 的 `concurrent.futures` 模块中,线程池进程池分别通过 `ThreadPoolExecutor` 和 `ProcessPoolExecutor` 实现。两者都允许开发者异步执行任务集合,但其底层机制不同。 #### 线程池概念 线程池是一种管理和调度多个线程的方式,它可以通过重用一组预先初始化的工作线程来减少频繁创建和销毁线程带来的开销。Python 提供了 `ThreadPoolExecutor` 来简化这一过程[^3]。线程池适合处理 I/O 密集型的任务,因为在这种情况下,线程可以在等待 I/O 完成的同被其他任务使用。 #### 进程池概念 进程池则是另一种并发模型,允许多个独立的进程并行运行。由于 Python 的全局解释器锁 (GIL),单一线程无法充分利用多核 CPU 资源。因此,在需要进行大量计算的情况下,通常会选择使用进程池而不是线程池[^5]。`ProcessPoolExecutor` 是实现进程池的核心类[^4]。 --- ### 线程池进程池的区别 | 特性 | 线程池 | 进程池 | |-------------------|-----------------------------------------|---------------------------------------| | **适用场景** | 主要用于I/O密集型操作 | 更适合于CPU密集型任务 | | **性能特点** | 开销较小 | 启动成本较高 | | **资源共享方式** | 多个线程共享同一内存空间 | 每个进程拥有自己的独立地址空间 | | **通信复杂度** | 较低 | 需要额外设计跨进程间的数据交换方案 | 上述表格总结了两种模式的主要差异。值得注意的是,尽管二者功能相似——即都能提高程序效率并通过分配子单元完成工作负载平衡——但由于其实现原理上的根本区别决定了它们各自的最佳应用场景并不相同[^1][^5]。 --- ### 是否存在冲突? 理论上讲,如果合理配置参数,则不会发生直接意义上的“冲突”。然而需要注意一点:当同启用大量的线程与进程可能会导致操作系统层面资源耗尽问题;另外一方面来说就是对于某些特定类型的作业而言可能只适配其中一种方法而完全不适合采用另一方形式来进行优化处理[^2]。 实际上,在大多数实际开发环境中,可以根据具体需求选择合适的工具而不必担心相互干扰的情况出现。例如,在 Web 应用服务器端接收请求后转交给后台做进一步数据加工分析这样的业务流程里头就可以既利用到前者快速响应前端交互的优势又能借助后者强大的数值运算能力达成整体效能最大化的目的。 --- ### 示例代码对比 以下是两个简单的例子展示如何在线程池进程池之间切换: #### 使用线程池的例子: ```python from concurrent.futures import ThreadPoolExecutor import time def io_bound_task(seconds): print(f"Sleeping for {seconds} seconds...") time.sleep(seconds) with ThreadPoolExecutor(max_workers=3) as executor: futures = [executor.submit(io_bound_task, sec) for sec in range(1, 6)] ``` #### 使用进程池的例子: ```python from concurrent.futures import ProcessPoolExecutor import math def cpu_bound_task(x): return sum(math.sqrt(i * i + j * j) for i in range(x) for j in range(x)) if __name__ == '__main__': with ProcessPoolExecutor(max_workers=4) as executor: results = list(executor.map(cpu_bound_task, [1000]*8)) print(results) ``` 这两个脚本展示了不同类型的操作应选用不同的执行策略以获得最佳效果。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值