
爬虫
记录自个爬虫的学习过程和出现的问题,
哈尔科夫扫地僧
不积跬步无以至千里,不积小流无以成江河
展开
-
【爬虫】Selenium和chromedriver的安装使用
很久没有用过selenium爬过数据了,晚上想爬个东西,selenium各种报错,解决了问题后决定再写个安装使用的教程,以备将来出了问题能尽快解决。selenium、chromedriver的安装 1.pip install selenium 2.查看谷歌浏览器版本:chrome://version/ 3.下载对应的chromedriver :http://npm.taobao.org/mirrors/chromedriver/ 4.解压chromedriver到.原创 2020-11-06 22:10:01 · 903 阅读 · 1 评论 -
【爬虫】Drony的使用
写下近期爬虫遇到的一些问题和想法。1. 智联招聘web端不登录会有限制,最多访问5页2. 还是智联,app端会对安卓模拟器有限制,在打开代理或者fiddler时会报网络错误的提示,这个主要是做了ssl pinning检测的缘故(京东也有这个问题)解决办法:1. 安卓模拟器下载安装包,使用drony绕过ssl pinning检测2. fiddler抓包3. 找到接口,补全请求的参数图文说明(用拉勾演示)1.安卓模拟器下载、安装拉勾的app和drony2.测试lg可不可以正常打开以及使用原创 2020-10-28 22:40:23 · 4385 阅读 · 1 评论 -
【爬虫】python爬取微信公众号
爬取微信公众号,一般有几种方式: 1、通过登录微信公众号平台,在里面去搜索要爬取的公众号,通过抓包等方式获取相应的接口; 2、通过安卓模拟器的方式去抓包; 3、通过搜狗的微信模块(https://weixin.sogou.com/) 4、其他等方式...这里使用第一种方式去爬取数据,当然了,首先你要有一个微信公众号账号。微信公众号 : https://mp.weixin.qq.com1.登录微信公众号2.进入创作管理-图文素材-图文模板-编辑-添加引用-查找公众号文章.原创 2020-10-23 16:38:25 · 8449 阅读 · 1 评论