python爬虫设置代理ip池

在使用python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术，高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，那如何解决呢？使用代理ip，设置代理ip池。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：961562169

以下介绍的免费获取代理ip池的方法：

 

优点：

 

1.免费

 

缺点：

 

1.代理ip稳定性差需要经常更换

 

2.爬取后ip存在很多不可用ip需要定期筛选

 

小建议：

 

该方法比较适合学习使用，如果做项目研究的话建议参考本人博客《python爬虫设置代理ip池——方法（二）》，购买稳定的代理ip

 

"""

 

一.主要思路

 

1.从代理ip网站爬取IP地址及端口号并储存

 

2.验证ip是否能用

 

3.格式化ip地址

 

4.在requests中使用代理ip爬取网站

 

二. 写在前面

 

在Requests中使用代理爬取的格式是
import requests
requests.get(url, headers=headers,proxies=proxies)