python爬虫采集66代理（66IP）并验证可用性

最新推荐文章于 2021-04-06 21:14:19 发布

举个栗子の不容易

最新推荐文章于 2021-04-06 21:14:19 发布

阅读量1w

点赞数 1

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/xu_cxiang/article/details/112221737

版权

Python 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种从特定网站抓取代理IP的方法，并通过Telnetlib模块验证这些代理IP的有效性。文中提供了完整的Python代码实现，包括设置请求头、正则表达式匹配及代理有效性检查。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 获取代理IP

import re
import requests

proxies = []
base_url = "http://www.66ip.cn/areaindex_35/1.html"
head = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/81.0.4044.138 Safari/537.36',
    'Cookie': 'Hm_lvt_1761fabf3c988e7f04bec51acd4073f4=1595389409; '
              'Hm_lpvt_1761fabf3c988e7f04bec51acd4073f4=1595397559 '
}
req1 = requests.get(url=base_url, headers=head)
patten = re.findall("<tr><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td></tr>", req1.text)
for index in range(1, len(patten)):
    proxy = patten[index]
    if proxy[0]+':'+proxy[1] not in proxies:
        proxies.append(proxy[0]+':'+proxy[1])
print(proxies)
print("共获取到{}个代理".format(len(proxies)))

此处使用正则表达式对网页表格数据进行提取

2. 验证代理是否可用

import telnetlib

def test_ip(ip, port):
    try:
        telnetlib.Telnet(ip, port, timeout=1)
        print("代理ip:{}:{}有效！".format(ip, port))
    except:
        pass

利用 Telnetlib 模块进行代理可用性测试

3. 汇总代码

import re
import telnetlib

import requests


def test_ip(ip, port):
    try:
        telnetlib.Telnet(ip, port, timeout=1)
        print("代理ip:{}:{}有效！".format(ip, port))
        return True
    except:
        pass
    return False


proxies = []
base_url = "http://www.66ip.cn/areaindex_35/1.html"
head = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/81.0.4044.138 Safari/537.36',
    'Cookie': 'Hm_lvt_1761fabf3c988e7f04bec51acd4073f4=1595389409; '
              'Hm_lpvt_1761fabf3c988e7f04bec51acd4073f4=1595397559 '
}
req1 = requests.get(url=base_url, headers=head)
patten = re.findall("<tr><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td></tr>", req1.text)
for index in range(1, len(patten)):
    proxy = patten[index]
    if proxy[0] + ':' + proxy[1] not in proxies:
        proxies.append(proxy[0] + ':' + proxy[1])

# 可用代理
usable_proxies = []

for proxy in proxies:
    p = proxy.split(':')
    if test_ip(p[0], p[1]):
        usable_proxies.append(proxy)

print("共获取到 {} 个代理，其中可用代理为：{} 个，详情如下:\n{}".format(len(proxies), len(usable_proxies),usable_proxies))