Python爬虫常用的小技巧-设置代理IP

最新推荐文章于 2025-08-07 10:25:43 发布

翻译最新推荐文章于 2025-08-07 10:25:43 发布 · 788 阅读

文章标签：

#代理IP #IP代理 #动态代理 #HTTP/HTTPS代理 #代理服务器

IP代理专栏收录该内容

9 篇文章

订阅专栏

本文介绍了一种有效的Python爬虫技巧，通过设置代理IP来避免因高频爬取而被目标网站封禁。详细讲解了如何从熊猫代理网站免费获取IP列表，并实现随机选择代理IP进行网页爬取，确保爬虫稳定运行。

在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置代理IP

这里介绍一下免费获取代理IP的方法，这个方法的优点就是免费，但是缺点就是爬取后存在很多不能用的

IP地址取自国内髙匿代理IP网站，熊猫代理，我们爬取首页IP地址就足够一般使用，或者你也可以爬取第一页，第二页…的

配置环境
安装requests库
安装bs4库
安装lxml库
具体代码
话不多说直接上代码吧

from bs4 import BeautifulSoup
import requests
import random

def get_ip_list(url, headers):
    web_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(web_data.text, 'lxml')
    ips = soup.find_all('tr')
    ip_list = []
    for i in range(1, len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_list.append(tds[1].text + ':' + tds[2].text)
    return ip_list

def get_random_ip(ip_list):
    proxy_list = []
    for ip in ip_list:
        proxy_list.append('http://' + ip)
    proxy_ip = random.choice(proxy_list)
    proxies = {'http': proxy_ip}
    return proxies

if __name__ == '__main__':
    url = 'http://www.xiongmaodaili.com/nn/'
    headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.60 Safari/537.17'
    }
    ip_list = get_ip_list(url, headers=headers)
    proxies = get_random_ip(ip_list)
    print(proxies)

函数get_ip_list(url, headers)传入url和headers，最后返回一个IP列表，列表的元素类似122.114.31.177:808格式，这个列表包括国内髙匿代理IP网站首页所有IP地址和端口

函数get_random_ip(ip_list)传入第一个函数得到的列表，返回一个随机的proxies，这个proxies可以传入到requests的get方法中，这样就可以做到每次运行都使用不同的IP访问被爬取的网站，有效地避免了真实IP被封的风险

proxies的格式是一个字典：{‘http’: ‘122.114.31.177:808‘}，可以将下面的执行也封装为方法

对于抓取IP这个，熊猫代理的服务器做了反爬处理，如果你频繁去抓取的话，服务器会主动返回503错误，提示block，所以在请求的时候可以先一次请求完保存一个文件，来读取这个文件，或者爬取一个ip使用几分钟后，再去爬取一次，相当于加一个定时功能

代理IP的使用
运行上面的代码会得到一个随机的proxies，把它直接传入requests的get方法中即可

res = requests.get(url, headers=headers, proxies=proxies)