Python Supporter

在学习使用Scrapy图片管道的时候，书上没有给出修改下载的缩略图文件名称的方法。自己研究了下，搞定了，记下来。要爬的是起点中文网：items.py 中要爬的有这么几项：import scrapyclass DownloadimageItem(scrapy.Item): # 小说名称 title = scrapy.Field() # 小说作者 ...

本文是对《scrapy网络爬虫实战》一书中，第5.2节内容的重写，由于伯乐在线网站代码有较大改动，原书中代码已经失效。以下示例演示了抓取https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0中...

《Python网络爬虫：从入门到实践》书中7.3.1节讲到，使用multiprocessing库的第一种方法，是Process+Queue 的多进程爬虫，还给出一个例子，发现有重大逻辑bug，经1天时间研究，将正确的代码公布出来，方便广大爱好者使用、参考。以下代码同时统计了各个子进程爬取的页面数量，已经在Pycharm 5.0.3上测试通过，欢迎大家评论留言，有问题我看到后会及时回复，谢谢。...

csv格式文件经常用在Python爬虫程序中存储文件，原因一是这种类型的文件既能用Excel打开，又能用记事本打开，而txt文件经常遇到变量分隔的问题；原因二是csv文件和txt文件占用的存储空间差不多，只是用英文逗号做行分隔，用换行符做列分隔。不过不同的os使用的换行符不一样，Linux使用的是\n，windows使用的是\r\n，mac用的是\r用Excel打开时的样子如下：用...