
scrapy
文章平均质量分 80
xu1984huang
这个作者很懒,什么都没留下…
展开
-
scrapy 下载gif图片
Come across to this thread. Here's my MyImagesPipeline to download full size gif images by overriding image_downloaded.class MyImagesPipeline(ImagesPipeline): def check_gif(self, image):转载 2014-11-24 11:06:24 · 1453 阅读 · 0 评论 -
scrapy 记录
命令行 scrapy startproject tutorial生成如下目录:原创 2014-11-24 11:09:37 · 553 阅读 · 0 评论 -
win8 安装scrapy
win8下安装scrapy,一堆错误,转载 2014-11-21 22:34:08 · 696 阅读 · 0 评论 -
Python:Scrapy中重写ImagePipeline组件的file_path函数,自定义图片的路径和名称
默认情况下,使用ImagePipeline组件下载图片的时候,图片名称是以图片URL的SHA1值进行保存的。如:图片URL:http://www.example.com/image.jpgSHA1结果:3afec3b4765f8f0a07b78f98c07b83f013567a0a则图片名称:3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg转载 2014-11-24 11:30:41 · 3926 阅读 · 2 评论 -
windows下使用virtualenv安装scrapy
系统为win8中文版,本来想用最新版python3.4,但是scrapy只原创 2014-11-19 22:43:07 · 2533 阅读 · 0 评论