大人的博客

1、安装pyspider从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本，下载对应的wheel文件即可然后pip install pycurl-7.43.0.3-cp37-cp37m-win_amd64.whl2、安装Phantomjs从http://phantomjs.org/download.html下载压缩...

requests.exceptions.ProxyError: HTTPSConnectionPool(host='kuaile.mag998.com', port=443): Max retries exceeded with url: /kuaile/api/getcatevideos?cateid=4&page=1 (Caused by ProxyError('Cannot con...

这里以微博为例，微博网页版无法查看全部粉丝但是微博APP可以，所以从手机端抓取，我用的是模拟器，用fiddler抓包，获取微博粉丝的接口：https://api.weibo.cn/2/cardlist然后就可以用mitmproxy拦截请求了。1、首先要安装mitmproxy,可以使用pip install mitmproxy直接安装，另外还会附带mitmdump和mitmweb这两个组件...

平时爬虫的时候，个人习惯点击Form Data右侧的view source来复制整个参数，一般情况下是没有问题的直到破解某网站参数加密的时候，js文件在node环境下可以正常运行，但是放在python代码中就无法返回数据了，检查了很久发现是参数的问题，我写的是’param=param’，而将参数改成用{param:param}的方式可以正常返回数据，这时候依然想用我这种方式写该怎么办呢解决...