python爬虫：代理及相关注意问题

最新推荐文章于 2024-11-20 08:45:00 发布

clover猪猪

最新推荐文章于 2024-11-20 08:45:00 发布

阅读量466

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： proxy

本文链接：https://blog.youkuaiyun.com/weixin_41576911/article/details/79106704

python爬虫专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一种利用Python实现的简单网页爬虫程序，该程序能够随机选取代理服务器以访问目标网站。通过随机更换代理IP地址，可以在一定程度上避免被目标网站封禁。文中提供了具体的代码示例，包括如何设置代理池、随机选择代理、构造请求头以及发送HTTP请求等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代理网址：http://www.goubanjia.com/free/index.shtml

import random
import requests
from bs4 import BeautifulSoup
#自动导入包，alt+inter

# http://cn-proxy.com/
proxy_list = (
    'http://117.177.250.151:8081',
    'http://111.85.219.250:3129',
    'http://122.70.183.138:8118',
)
proxy_ip = random.choice(proxy_list) # 随机获取代理ip
proxies = {'http': proxy_ip}
#官网上代理举例，不确定在使用时是否随机
# import requests
# proxies = {
#   "http": "http://10.10.1.10:3128",
#   "https": "http://10.10.1.10:1080",
# }
# requests.get("http://example.org", proxies=proxies)

url = 'https://knewone.com/things/categories/dian-nao/bi-ji-ben-dian-nao'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

wb_data = requests.get(url,headers=headers,proxies=proxies)
if wb_data.status_code == 404:
    pass
else:
    soup = BeautifulSoup()

分别用列表和字典存储代理IP，在使用时可以使用random.choice随机选择代理；

在解析大量网页时，可以先判断网页的状态码，这里未判断IP是否无效，还是网页无法打开，可能会丢失一些数据