Python爬虫：使用代理服务器解决封IP！

封IP

访问网站频率太高，被反爬虫。同一个IP短时间内大量发送请求，被服务器判断为异常请求。

代理服务器

代理：破解封IP这种反爬机制。
代理服务器：本机客户端和Web服务器之间的桥梁，本机客户端将请求发送给代理服务器，代理服务器再把请求转发给Web服务器。
代理的作用：突破自身IP访问的限制、可以隐藏自身真实的IP。
代理相关的网站：快代理、西祠代理、www.goubanjia.com
代理IP的类型：http：应用到http协议对应的url中、https：应用到https协议对应的url中。
代理IP的匿名度：透明：Web服务器知道该次请求使用了代理，也知道请求对应的真实IP。匿名：知道使用了代理，但是不知道真实IP。高匿：不知道使用了代理，也不知道真实IP。
以下是使用代理IP的小例子，但是免费的代理IP不可以用了，会失败。

import requests

url = 'https://www.baidu.com/s?wd=ip'
headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
#使用代理IP：proxies
page_text = requests.get(url=url,headers=headers,proxies={"https":'113.121.40.235:9999'}).text
with open('ip_test.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

非常简单的！