python+fastapi自建HTTP爬虫IP池
使用的库
bs4
requests
pymongo
fastapi
uvicorn
爬取ip
网络上搜索一下有很多提供HTTP代理的网站,直接使用BeautifulSoup将IP爬下来。
html =requests.get(url).text
bs =BeautifulSoup(html,'html.perser')
#findAll()
#select()
验证ip
res = requests.get(url,headers=headers,proxies=proxies)
#判断res.st
原创
2020-11-27 14:19:15 ·
443 阅读 ·
0 评论