简易爬虫实践：http协议请求代理proxy、header

CoberOJ_

于 2020-05-06 10:53:17 发布

阅读量1.2k

点赞数

分类专栏：爬虫 HTTP

本文链接：https://blog.youkuaiyun.com/huodoubi/article/details/105945883

版权

http协议请求代理proxy，header

直入主题：

请求proxy开源代码：https://github.com/Python3WebSpider/ProxyPool，按照说明启动即可，配置成功后，访问http://127.0.0.1:5555/random可以返回一个随机proxy地址
http请求模拟，配置随机proxy即可，建议也配置一个随机header，避免被封

import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
import requests
import json
import random


def get_random_headers():
    USER_AGENTS = [
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, l