获取代理IP地址(BeautifulSoup)

本文介绍了一种使用Python的BeautifulSoup库从网站抓取代理IP数据的方法。通过设置请求头并发送GET请求到指定URL,利用BeautifulSoup解析网页内容,最后筛选出所需的代理IP信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前天用正则的方式获取网站的代理IP数据,今天为了学习BeautifulSoup,用BeautifulSoup实现了一下。

 1 #!/usr/bin/python
 2 
 3 import requests
 4 from bs4 import BeautifulSoup
 5 
 6 
 7 headers={'Host':"www.ip-adress.com",
 8         'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
 9         'Accept':"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
10         'Accept-Language':"zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3",
11         'Accept-Encoding':"gzip, deflate",
12         'Referer':"http://www.ip-adress.com/Proxy_Checker/",
13         'Connection':'keep-alive'
14 }
15 
16 url="http://www.ip-adress.com/proxy_list/"
17 req=requests.get(url,headers=headers)
18 soup=BeautifulSoup(req.text) //BeautifulSoup(str)
19 rsp=soup.find_all('tr',{'class':'odd'})
20 rsp1=soup.find_all('tr',{'class':'even'})
21 for eliment in rsp:
22         print eliment.td.text //the first one
23 
24 for eliment1 in rsp1:
25         print eliment1.td.text

 

转载于:https://www.cnblogs.com/tmyyss/p/4207556.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值