使用代理进行爬虫

最新推荐文章于 2022-04-26 13:32:35 发布

Scarlett·S

最新推荐文章于 2022-04-26 13:32:35 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/qq_37503890/article/details/99288836

在爬取商用网站时，为了避免IP被封，通常需要借助代理。本文介绍了如何在代理精灵网站购买并使用代理。首先在IP白名单添加自己的IP，然后设置稳定使用时长并生成API链接。接着在Python脚本中调用API获取代理，用于爬虫爬取目标网站。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬网页的时候，尤其是一些商用网站，如果使用本地IP很容易就会被封掉，因此我们需要在代理网站上购买代理，我使用的是代理精灵网站：http://http.zhiliandaili.com/Users-login.html

首先要在IP白名单中加入自己的IP地址

然后点击API提取，稳定使用时长设置为稳定一分钟就好，然后点击下方的生成API链接就可以提取到一个API

下面我们来看一下如何使用

1.首先创建一个getip.py的文件

# 同时使用用户代理池和IP代理池
import time
import urllib.request
import random
# 从用户代理池中随机获取一个用户代理
def getheaders():
        # 浏览器之类的信息
        UserAgents = [
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36",
            "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Medi