皮蛋瘦肉没有肉

一、下载Charles我这里使用的版本是4.2，目前最新版本是4.2.7。下载地址：https://www.charlesproxy.com/download/latest-release/注册码（亲测可用）：Registered Name: https://zhile.ioLicense Key: 48891cf209c6d32bf4二、配置Charles1.启动...

想爬一些知乎的数据，但过程并不顺利，这几天看了网上很多大神的帖子，最近的也是18年8月的。目前知乎改版，网上现有的方法全部都不能登陆了，会报参数异常的错误。捣鼓了好久，曲线救国，2种方法一、selenium用selenium模拟浏览器登陆，首先QQ要在电脑上登陆，python代码自动打开chrome浏览器，选择以QQ登陆的方式登陆知乎，这里需要人工点一次登陆才行。真的是曲线救国。。。。...

前言最近在自学爬虫，琢磨各种防封、防反爬虫措施，于是乎想自己收集一些user-agent用来做随机header，偶然发现github上有一个专门提供随机ua的库，遂记录之GitHub名称：fake-useragentDemosetting.pyDOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddleware.usera...