爬虫
关注
分享
扫一扫
chief_victo
这个作者很懒，什么都没留下…
展开
-
selenium和Python3.6实现招聘狗网站自动识别验证码登录、列表页、详情页爬取
selenium、Python3.6、requests实现招聘狗网站验证码识别自动登录、列表页、详情页爬取原创 2018-05-17 11:03:09 · 1366 阅读 · 0 评论 -
用requests处理302页面的重定向（解决链接失效的问题）
最近在爬取智联的简历信息，爬取简历详情页的时候，使用的是公司的分布式框架，获取的详情页的url不会立即爬取，导致出现链接已失效的问题，使用的是模拟ajax获取数据，分析和代码如下：获取上面的request url 和headers,构造模拟请求：cookies = "" #登录后获取at = ''#从cookies中获取resume_url = 'https://ihr.zhao...原创 2018-06-26 12:20:38 · 29027 阅读 · 2 评论 -
获取验证码图片、通过background-position重组验证码图片
现在有很多验证码图片获取后都是乱序的需要重组，webdriver截图是一个很方便的处理方式，但是webdriver过于占用内存，故提供一个重组的方式，现已前程无忧为例，记录一下解决方案，大体思路可以分为以下几个步骤：获取原始验证码图片----->获取css偏移量数组---->新建空白图片文件---->按顺序根据css偏移量和验证码图片尺寸抠图并粘贴到空白文件。验证码...原创 2018-08-06 10:31:48 · 2024 阅读 · 0 评论 -
python3 requests上传图片（base64加密的图片）
请求参数如上图所示，共有四个参数：myfile: data:image/jpeg;base64,后面是图片base64加密后的数据clientNo:''clientType:'2'userToken:在cookies中获取import requestsimport osimport base64session = requests.session()url = '...原创 2018-08-20 18:06:38 · 6641 阅读 · 0 评论 -
各模拟器adb连接端口
模拟器名称 默认连接端口 夜神安卓模拟器 62001 逍遥安卓模拟器 21503 BlueStacks（蓝叠安卓模拟器） 5555 雷电安卓模拟器 5555 天天安卓模拟器 5037 网易MuMu（安卓模拟器） 7555 安卓模拟器大师 54001 Genymotion 5555 ...转载 2018-08-30 15:24:36 · 2842 阅读 · 0 评论