Python - 进程/线程相关整理

转载于 2019-07-27 11:19:00 发布 · 47 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/AtesetEnginner/p/11254329.html

文章标签：

#python

本文介绍了一种利用Python的进程池（Pool）并行检测大量URL状态的方法。通过读取文件中的URL列表，使用ThreadPool并发请求每个URL，并打印出响应的状态码。此方法能够显著提高大规模URL状态检测的效率。

进程池 Pool

#检测url状态
from multiprocessing.dummy import Pool as ThreadPool
import requests
siteList = []
with open("all1.txt") as f:
   for line in f.readlines():
       siteList.append(line)
pool = ThreadPool()
results = pool.map(requests.get, siteList)
for r in results:
   print (r.status_code)