重要的事情说三遍:
仅供学习使用,若有其他想法,请出门右转
仅供学习使用,若有其他想法,请出门右转
仅供学习使用,若有其他想法,请出门右转
准备:
简单的网站浏览量无非就是访问次数,那么一直按F5就可以,做得比较好的网站会根据“ip”计算浏览量。
所以步骤如下:
1、去提供代理ip的网站爬取大量ip
2、利用爬取的ip去构建请求,请求需要刷新的网址
遇到的问题:
1、proxy里面http 和https要小写 ,
2、代理的ip不能正常使用,需要try 把异常抛出来,
3、去爬取代理的时候竟然被代理网站屏蔽了(我也很无奈,只能随便找一个可用ip去代理访问)
开始:
直接上代码:(单线程)
#coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf8')
#-----------------------------------以上为控制编码方式
import requests
from bs4 imp