Shaun_X

selenium+requests+xpath爬取拉勾网信息

方案一：class值取其中之一最具有唯一性的；方案二：使用find_element_by_css_selector()来查找元素，在每个class_name中添加"."

通过截屏获取带有缺口的验证码图片，通过验证码图片的像素进行识别，凹槽位置的RGB三个色素基本都是小于150， 通过遍历x的轴，如果x轴从左到右边如果有连续x_max/8.6个像素中的RGB中的三个色素都是小于150，那个该x就是缺口的左边的距离

代理池分为4个模块：存储模块、获取模块、检测模块、接口模块。

通过训练样本+像素的rgb值，来破解点击旋转验证码

涉及到如何在添加用户信息的情况，再添加代理来访问页面，这里涉及俩种方法。

代理池分为4个模块：存储模块、获取模块、检测模块、接口模块。

想要弄个1000+以上的廉价可用的IP地址，用这个方法试试？？！

实操如何通过jTessBoxEditor工具将图片训练成.traineddata

极滑3.0进行了更新，我们点击一下验证那个按钮，获取到的不再是完整的原图，而是带有缺口的原图，这样子，我们就不能使用极滑2.0的办法来获取到滑动缺口的位置，下面我们介绍俩种获取缺口位置的方法，以其中一种为例。

除了极验3.0的验证码，其他的验证码，基本可以解决，特别是价格便宜，接口容易接入。

readme.text 运行环境：python3.x版本以上 用到的库文件：requests库，re库，urllib库，queue库，gevent库，os库，lxml库 终端执行命令：python3 doutula_spider.py 10 # 10表示爬区十页表情包 soutula_spider.py import requestsfrom lxml i...

拉勾网，即便我requests不你的心，我也要selenium到你的人

解决Python3.x 中安装不了PIL

爬虫必备知识：tesseract如何使用来测试验证码图片？

1. Pycharm报错信息为： selenium.common.exceptions.WebDriverException: Message: unknown error: call function result missing (session info: chrome=65.0.3325.181) (Driver info: chromedriver=2.30.4...

这样子抽奖，都觉得特别高级，概率都在爆增

之前在爬取拉勾网的职位信息的时候，一直显示这个：'status': False, 'msg': '您操作太频繁,请稍后再访问', 'clientIp': '117.136.41.41', 'state': 2402}当时使用headers传递头部信息： headers = { 'Referer': 'https://www.lagou.com/jobs/list_Py...

破解CSS反爬虫技巧：before伪元素选择器以及定位元素偏移