python 爬取可用代理ip

最新推荐文章于 2025-06-29 09:09:42 发布

原创

最新推荐文章于 2025-06-29 09:09:42 发布 · 925 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#代理ip

本文介绍如何使用Python进行网络爬虫，抓取互联网上的可用代理IP，并讲解相关的关键技术和注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 获取免费的代理并验证代理的可用性
# 爬虫第二部， 找到了xicidaili
import requests
from lxml import etree


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
}

def get_free_proxy():
    url = 'https://www.xicidaili.com/nn/'
    # 爬虫第三步
    response = requests.get(url, headers=headers)
    # with open('xicidaili.html', 'wb') as f:
    #     f.write(response.content)
    html_ele = etree.HTML(response.content)
    tr_eles = html_ele.xpath('//table[@id="ip_list"]//tr')
    tr_eles.pop(0)
    for tr_ele in tr_eles:
        ip_str = tr_ele.xpath('./td[2]/text()')[0]
        port = tr_ele.xpath('./td[3]/text()')[0]
        yield 'http://' + ip_str + ':' + port

def validate_proxy(proxy_str):
    url = 'http://httpbin.org/get'
    proxy = {
        'http': proxy_str,
        'https': proxy_str
    }
    try:
        response = requests.get(url, proxies=proxy, timeout=5)