scrapy
文章平均质量分 50
TimorChow
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
解决scrapy报错No module named cryptography.hazmat.bind
在linux下配置完运行是出现ImportError: No module named cryptography.hazmat.bindings.openssl.binding的错误。原因是craptography并没有安装。如果直接安装cryptography时又会出现找不到libffi和cffi文件的错误。表示如果还需要先配置libffi和cffi,需要先配置libffi然后配置cffi。配置l转载 2016-12-28 17:57:10 · 2788 阅读 · 0 评论 -
scrapy框架的使用心得
有段时间没有更新博客了,年底来写一下自己对scrapy框架应用的心得scrapy基础部分就不再做解析了,请移步:scrapy中文文档 https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/overview.html本人对scrapy应用是基于二次开发的,利用scrapy的框架的爬取大致流程,自己独立写模块,可以使开发流程更为简洁明了,降低了程序内部耦合原创 2017-01-24 15:33:20 · 2477 阅读 · 0 评论 -
利用selenium实现获取验证码
参考:http://www.jianshu.com/p/7ed519854be7获取验证码有两种思路:1.获取页面源代码,提取验证码图片2.利用selenium截取页面,定位验证码元素的位置,利用Image进行处理,获取其中验证码部分下面进行解析:1.获取页面源代码,提取验证码图片如何获取源代码并提取验证码图片过程就不在分析了,既然看到这篇文章,相信这些工作都不在话下了。原创 2018-01-26 22:28:58 · 17517 阅读 · 3 评论
分享