
scrapy
文章平均质量分 95
蜡笔小心丶
这个作者很懒,什么都没留下…
展开
-
mac安装scrapy并创建项目
最近刚好在学习python+scrapy的爬虫技术,因为mac是自带python2.7的,所以安装3.5版本有两种方法,一种是升级,一种是额外安装3.5版本。升级就不用说了,讲讲额外安装的版本吧~~~因为python是有自带版本的,最开始安装的时候都会有一种“ 会不会冲突 ”的感觉。其实安装3.5版本也就是在官网上直接下载之后安装,和普通的mac软件安装方式是一样的~~https:原创 2017-05-22 18:40:12 · 10853 阅读 · 4 评论 -
scrapy下载图片时,图片链接报错Missing scheme in request url: %s' % self._url
抓取的URL存下来的时候可能为字符串,scrapy提取的时候只提取到第一个字母 h 。解决方案:image_url = post_node.css('dt.img a img::attr(onerror)').extract_first('') # 获取图片front_image_url = [image_url if 'http:' in image_url else ('h原创 2017-08-18 13:25:34 · 3036 阅读 · 0 评论