爬取西刺代理检测代理是否可用并记录时间

最新推荐文章于 2022-10-18 18:07:12 发布

TheSkies

最新推荐文章于 2022-10-18 18:07:12 发布

阅读量801

点赞数

分类专栏：基础爬虫文章标签：爬取西刺代理

本文链接：https://blog.youkuaiyun.com/weixin_38920937/article/details/81914142

版权

基础爬虫专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一个Python脚本，该脚本从西刺代理网站抓取HTTP代理列表，并通过百度进行有效性验证。首先使用Requests获取网页内容，然后利用XPath解析页面上的IP地址和端口，最后逐一测试这些代理的有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from lxml import etree
import time
# 424.13342022895813


def get_all_proxy():
    url = 'http://www.xicidaili.com/nn/1'

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }
    response = requests.get(url, headers=headers)

    # with open('song.html', 'wb') as f:
    #     f.write(response.content)

    html_ele = etree.HTML(response.text)

    ip_eles = html_ele.xpath('//table[@id="ip_list"]/tr/td[2]/text()')
    port_ele = html_ele.xpath('//table[@id="ip_list"]/tr/td[3]/text()')

    # print(len(ip_eles))
    # print(len(port_ele))
    proxy_list = []
    for i in range(0,len(ip_eles)):
        proxy_str = 'http://' + ip_eles[i] + ':' + port_ele[i]
        proxy_list.append(proxy_str)

    return proxy_list

def check_all_proxy(proxy_list):
    valid_proxy_list = []
    for proxy in proxy_list:
        url = 'http://www.baidu.com/s?wd=ip'
        proxy_dict = {
            'http': proxy
        }
        try:
            response = requests.get(url, proxies=proxy_dict, timeout=5)
            if response.status_code == 200:
                print('代理可用：' + proxy)
                valid_proxy_list.append(proxy)
            else:
                print('代理超时')
        except:
            pass
            #print('代理不可用--------------->')
    return valid_proxy_list


if __name__ == '__main__':
    start_time = time.time()
    proxy_list = get_all_proxy()
    valid_proxy_list = check_all_proxy(proxy_list)
    end_time = time.time()
    print('--'*30)
    print(valid_proxy_list)
    print('耗时:' + str(end_time-start_time))