python 爬虫检测代理ip是否有效

戴上微笑

于 2020-12-01 09:00:03 发布

阅读量609

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/dai1987csdn/article/details/110386502

爬虫专栏收录该内容

14 篇文章

订阅专栏

此博客围绕Python爬虫展开，虽未给出具体内容，但可知聚焦于利用Python进行数据爬取，Python作为强大的编程语言，在爬虫领域应用广泛，能高效获取网络数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import pandas
from lxml import etree
ip_table=pandas.read_excel('ip.xlsx')
ip = ip_table['ip']
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

for i in ip:
    proxies = {'http':'http://{ip}'.format(ip=i),'https':'http://{ip}'.format(ip=i)}
    try:
        response = requests.get('http://202020.ip138.com/',headers=headers,proxies=proxies,timeout=2)
        if response.status_code==200:
            response.encoding='utf-8'
            html = etree.HTML(response.text)
            info = html.xpath('/html/body/p[1]//text()')
            print(info)
    except Exception as e:
        print('错误异常信息为：',e)