python建立IP代理池

最新推荐文章于 2025-06-21 16:08:02 发布

lyhsdy

最新推荐文章于 2025-06-21 16:08:02 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签：爬虫代理 python

本文链接：https://blog.youkuaiyun.com/weixin_39416561/article/details/82114152

本文介绍了如何利用Python爬取xicidaili网站上的高匿名代理IP，构建一个代理池，为爬虫提供稳定的代理资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!coding=utf-8
import requests
import re
import pandas as pd


def get_proxy():
    """
    获取代理
    """
    # 获取xicidaili的高匿代理
    ##proxy_info_list = []  # 抓取到的ip列表
    ip_list=[]
    dk_list=[]
    xy_list=[]
    ip_list1 = []
    dk_list1 = []
    xy_list1 = []
    for page in range(1, 2):  # 抓几页
        headers = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
                    'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',
                    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36'}

        request = requests.get('http://www.xicidaili.com/nn/%d' % page, headers=headers,verify=False)
        r=request.text

        ip_page = re.findall(r'<td>(.*?)</td>', r)
        #print (ip_page)

        for i in range(0, len(ip_page),5):
            ip_list.append(ip_page[i])
            dk_list