爬虫
灵左
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy学习小记
安装wheel安装lxml安装PyOpenssl安装Twisted :异步框架安装Pywin32安装Scrapy通过 scrapy startproject projectname 创建一个scrapy工程进入该文件夹:scrapy genspider baidu www.baidu.com 生成爬虫scrapy crawl baidu 运行scrapy shell quo...原创 2019-07-17 00:04:51 · 210 阅读 · 0 评论 -
爬虫踩坑小记
在用pyspider爬虫运行代码后出现:HTTP 599: SSL certificate problem: unable to get local issuer certificate错误错误原因:这是因为在请求https开头的网址时,SSL验证错误,证书有问题解决方法:在self.crawl(url,callback=self.index_page,validate_cert=Fa...原创 2019-07-17 00:07:36 · 299 阅读 · 0 评论
分享