python爬虫—proxy的使用

最新推荐文章于 2024-03-23 22:46:48 发布

原创

最新推荐文章于 2024-03-23 22:46:48 发布 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #http

本文介绍了在Python爬虫中如何使用proxy设置代理服务器，包括私有IP和公共IP的代理，以及如何通过HTTPHandler进行代理切换。

python爬虫—proxy的使用
使用代理ip,使用proxy来设置代理服务器，一段时间换一个Ip,HTTPHandler

#使用代理ip,使用proxy来设置代理服务器，一段时间换一个Ip
from urllib.request import Request
from  urllib.request import build_opener
from fake_useragent import UserAgent
from urllib.request import HTTPHandler
from urllib.request import ProxyHandler
url = "https://www.b