http://yjs.hebut.edu.cn/yjsgzb/xzzq/ 通过河北工业大学研究生院-学生工作-下载专区,测试如何使用FilesPipeline。
通过下载链接可以看出有些直接可以下载,而有些则要从点开的页面中寻找。为简化学习过程,我们只保存后面4个。
(1)创建项目:
scrapy startproject filedownload
(2)使用genspider创建爬虫文件:
scrapy genspider getfile hebut.edu.cn
(3)进入项目目录,修改items.py文件:
import scrapy
class DownloadFileItem(scrapy.Item):
# define t