vivian_ll的博客

定时爬虫的程序，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。

scrapyd部署

scrapy爬虫相对网址转绝对网址递归爬取

小白爬虫第一弹之抓取妹子图遇到问题：python2.x和python3.x有区别。 1. 编码问题，报错ASCII时要在前面加上import sysreload(sys)sys.setdefaultencoding('utf-8')，路径中有中文字符需要把str类型的转为Unicode类型，使用.decode(‘utf-8’) 2. Print问题，python2.x版本的print没有