如何检测代理是否有效

部署运行你感兴趣的模型镜像

## 环境 centos7 + py2

使用requests,请求判断代理是否有效,请求的api请自己找。

代码如下:

# coding=utf-8
import requests

def GetUseProxies():
'''测试代理是否可用'''
UseProxiesList = []
i = 1
n =0
# 请求api返回代理列表
api = "http://qsrdk.daili666api.com/ip/?&num=100&category=2&sortby=time"

api_url = requests.get(api)

proxies_list= api_url.content.split('\r\n')
print '获得proiex%s' % len(proxies_list)
for proxy in proxies_list:
print '正在发送第%s个请求。\n\r' % i
i+=1
proxies = { "http": "http://"+proxy, "https": "http://" + proxy, }
try:
requests.get('http://www.baidu.com',proxies = proxies,timeout=2)
UseProxiesList.append(proxy)
except:
n+=1
print '***已经有%s个代理被淘汰***' % n
print 'UseProxiesList:',UseProxiesList
print '可用代理数量%s' % len(UseProxiesList)


if __name__ == "__main__":
GetUseProxies()


结果如下:


总结:因为速度网络I/O比较消耗时间,建议建立多进程,线程或者协程

您可能感兴趣的与本文相关的镜像

Python3.9

Python3.9

Conda
Python

Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本

在Python中检测代理IP是否有效的常见做法是通过发送HTTP请求,并将代理设置在请求头(`User-Agent`、`Proxy-Authorization`等)中。如果代理工作正常,服务器会成功响应,而如果没有生效,可能会返回错误或者超时。以下是一个简单的示例: ```python import requests from proxy_checker import ProxyPool # 创建一个代理proxy_list = ['http://your_proxy_ip:port', 'https://another_proxy_ip:port'] class ProxyValidator: def __init__(self): self.proxies = ProxyPool(proxy_list) def is_valid(self, proxy_url): try: # 使用requests库发起一个GET请求,设置代理 response = requests.get('http://example.com', proxies={'http': proxy_url}, timeout=5) # 检查响应状态码,如2xx表示有效 if response.status_code >= 200 and response.status_code < 300: return True else: print(f"Proxy {proxy_url} is invalid with status code: {response.status_code}") return False except (requests.exceptions.ProxyError, requests.exceptions.Timeout): print(f"Proxy {proxy_url} is invalid due to error or timeout.") return False except requests.exceptions.RequestException as e: print(f"Proxy {proxy_url} is invalid: {e}") return False # 使用验证类 validator = ProxyValidator() for proxy in validator.proxies.get_proxies(): if validator.is_valid(proxy): print(f"{proxy} is a valid proxy.") else: pass # 或者添加到无效代理列表中 ``` 在这个例子中,`ProxyPool`通常是一个第三方库,用于管理代理IP列表。你需要安装它(例如:`pip install proxy_checker`),并确保你的代理URL是正确的格式。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值