Python 抓取免费的代理IP地址和端口号，并检测稳定性

最新推荐文章于 2024-04-05 09:01:15 发布

原创

最新推荐文章于 2024-04-05 09:01:15 发布 · 2.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #代理ip

本文介绍了一种使用Python从快代理网站抓取免费IP地址和端口号的方法，通过创建不同模块分别负责抓取、检测IP，并将稳定IP保存。代码中运用了requests、BeautifulSoup和lxml等库，抓取后的IP经过测试，可用的被写入到新的文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运行环境：
MacBook Pro 10.14 python3.6.2 pycharm 2018.3.2
运用到的模块：
requests、BeaetifulSoup、lxml、time、random、os
创建主函数：Grasp_ip.py 负责实现抓取IP，post的业务逻辑
#encoding=utf-8
import requests
from header import headers
from bs4 import BeautifulSoup
from urls import urls
import time
import random

n=0
for url in urls():
request=requests.get(url,headers=headers())
request.encoding=‘gbk’
html=BeautifulSoup(request.text,features=‘lxml’)
tr=html.find_all(‘tr’)
f=open(‘kuaidaili_ip.txt’, mode=‘a+’)
for td in tr[1:len(tr)]:
ip=td.find_all(‘td’)[0].text
post=td.find_all(‘td’)[1].text
ip_post=ip+’\t’+post+’\n’
f.write(ip_post)
n=n+1
print(‘成功抓取第’+str(n)+‘页！’)
time.sleep(random.randint(2,10))

创建 headers.py 存放请求头信息
#encoding=utf-8
def headers():
headers={}
User_Agent = ‘Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/