Python爬取代理IP

最新推荐文章于 2022-10-05 19:21:19 发布

不要怕搞砸

最新推荐文章于 2022-10-05 19:21:19 发布

阅读量909

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 代理ip 爬虫

本文链接：https://blog.youkuaiyun.com/abitch/article/details/53007502

python 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了一段Python代码，该代码使用BeautifulSoup和urllib2库从快代理网站抓取免费的代理IP地址及其端口号，并将这些信息保存到本地文件proxy.txt中。通过循环迭代不同的页面来获取更多的代理IP资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这个代码实现的功能是爬取代理ip将之存放到proxy.txt文件中，用到了BeautifulSoup库，还有自带的urllib2库和itertools。

代码如下：
`
# -- coding:utf-8 --
from bs4 import BeautifulSoup
import itertools
import urllib2
from itertools import izip

f = open(“proxy.txt”,”w”)
def download(url):
url = urllib2.urlopen(url)
soup = BeautifulSoup(url, “html.parser”)
iplist = soup.findAll(“td”,{“data-title”:”IP”})
portlist = soup.findAll(“td”,{“data-title”:”PORT”})
for ip,port in izip(iplist,portlist):
f.write(ip.get_text()+”\t”+port.get_text()+”\n”)
for page in itertools.count(1):
url = ‘http://www.kuaidaili.com/free/inha/%d/’ % page
print page
html = download(url)