如果你想去做爬虫,那么仅仅使用自己本地的ip肯定是不够的,这里有两种选择:
一、ip动态代理
这办法我就不多说了,可以搜索一下度娘,提供ip动态代理的平台很多
二、搭建自己的代理服务器
如果你正好有自己的服务器,无论是在阿里云还是在腾讯云,都可以
- 安装 squid ,参考 https://blog.youkuaiyun.com/qingfengxulai/article/details/80853870,只看安装服务端部分
- 你的代理服务器我想一定只想让你自己访问,不想让别人访问(这个地方我自己吃了很大的亏,我刚开始以为自己弄一个陌生的端口【记得端口要在云平台的安全组去开放】,就没有人会知道自己这个端口的用途,也不用设置什么密码验证了,但是我想错了,1天后,我查看squid的日志,发现我的服务器被疯狂的利用)
- 不想让别人访问两种办法,第一,你可以设置允许的ip地址,这个简单你们自行查阅;第二、可以设置用户名密码进行验证,这个第一步已经有了。但是你发现如果仅仅按照上面的配置,无论你的代码怎么访问结果都是一个页面包含内容:403 错误,Access denied
-
一定要做这样的更改
http_access allow authenticated http_access deny all
deny all一定要再 http_access allow authenticated 的下面, 这里的authenticated就是你设置的