爬虫关于ip代理的使用

简单记录一下几种常用的使用ip代理的方法

下面代码里的所有ip都是从代理网站拿的，可用性极低

1，urllib

#urllib设置ip
from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener

#proxy的格式为ip:端口号
proxy = "60.13.42.8:9999"
#需要认证的代理可以写成如下格式，username为用户名，password为密码
# proxy = "username:password@ip:端口号"
proxy_handler = ProxyHandler({
    'http':'http://'  + proxy,
    'https' : 'https://' + proxy
})
opener = build_opener(proxy_handler)
try:
    #测试请求网站为httpbin
    response = opener.open("http://httpbin.org/get")
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

2，requests

#requests设置代理
import requests

proxy = "121.225.67.109:3128"
#需要认证的代理可以写成如下格式，username为用户名，password为密码
# proxy = "username:password@ip:端口号"
proxies = {
    'http':'http://' + proxy,
    'https':'https://' + proxy
}
try:
    response = requests.get('http://httpbin.org/get',proxies=proxies)
    print(response.text)
except requests.exceptions.ConnectionError as e:
    print("Error:",e.args)

3，selenium+chromedriver

#selenium+chrome设置代理
from selenium import webdriver

proxy = '117.90.6.32:9000'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://'+proxy)
driver = webdriver.Chrome(chrome_options=chrome_options,executable_path='D:\pythontools\chromedriver.exe')
driver.get('http://httpbin.org/get')

以后会陆续补充这篇博客

另外，学习崔老师的文章，做代理池的时候遇到一个bug，查了好久也不知道为啥，贴一下，求解：

.utils的导入一直报错，搜也搜不到这个模块，百度也没多少有眉目的解决方法。