python app多线程爬虫以及代理ip的使用

微小东

于 2018-11-05 22:10:03 发布

阅读量814

点赞数

CC 4.0 BY-SA版权

分类专栏： app爬虫

本文链接：https://blog.youkuaiyun.com/u014796999/article/details/83757802

app爬虫专栏收录该内容

14 篇文章

订阅专栏

本文介绍如何使用Python的线程池执行并发任务，并通过阿布云代理访问受限资源，提升网络请求效率及稳定性。文章详细展示了ThreadPoolExecutor的参数设置与使用方法，以及如何配置代理进行网络请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用的是线程池

import requests
import json
from multiprocessing import Queue
from handle_mongo import mongo_info
from concurrent.futures import ThreadPoolExecutor

max_workers   线程数
pool = ThreadPoolExecutor(max_workers=2)
while queue_list.qsize() > 0:
    pool.submit(handle_caipu_list, queue_list.get())

代理的使用

阿布云

https://center.abuyun.com/#/cloud/http-proxy/tunnel/lists

# 加上代理来访问
proxy = {'http': 'http://H1U0P72S1427R2NC:7929A07B5CAEAA72@http-cla.abuyun.com:9030'}
response = requests.post(url=url, headers=header, data=data, proxies=proxy)