scrapy 学习

 

1. 安装scrapy，安装方法链接  http://www.scrapyd.cn/doc/156.html
2. 创建scrpay项目，命令行输入

   scrapy startproject mingyan  # 其中，mingyan是创建文件夹的名字，随意写。

•     scrapy.cfg: 项目配置文件
• tutorial/ 项目python模块，待会代码将从这里导入，
• tutorial/items.py 项目items文件
• turorial/piplines.py 项目管道文件
• tutorial/settings.py 醒目配置文件
• tutorial/spiders 防治spider的目录

3./测试

scrapy shell http://lab.scrapyd.cn
response.css('title::text').extract_first()

4./css 选择器

获得下一页的网址

response.css('li.next a::attr(href)').extract_first()