本文介绍了一个简单的Python脚本示例，演示如何利用requests库配合随机选取的代理IP来爬取网页内容。该脚本展示了如何设置代理、定义随机选择的IP列表以及发送请求的具体过程。
import requests
import random
import random
#用不同IP去访问要爬去的网站
#在https://proxy.coderbusy.com/找到的IP地址（不停刷新即可）
pro=['122.152.196.126','114.215.174.227','119.185.30.75']
pro=['122.152.196.126','114.215.174.227','119.185.30.75']
#头信息
head={
'user-Agent':'Mozilla/5.0(Windows NT 10.0;Win64 x64)AppleWebkit/537.36(KHTML,like Gecko) chrome/58.0.3029.110 Safari/537.36'
}
url='http://www.whatismyip.com.tw/'
r=requests.get(url,proxies={'http':random.choice(pro)},headers=head)
head={
'user-Agent':'Mozilla/5.0(Windows NT 10.0;Win64 x64)AppleWebkit/537.36(KHTML,like Gecko) chrome/58.0.3029.110 Safari/537.36'
}
url='http://www.whatismyip.com.tw/'
r=requests.get(url,proxies={'http':random.choice(pro)},headers=head)
#用随机生成的一个IP去访问这个网页
r.encoding=r.apparent_encoding
print(r.status_code)
print(r.text)
r.encoding=r.apparent_encoding
print(r.status_code)
print(r.text)
扫一扫
1380
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
