本文介绍了Scrapy项目的创建流程，包括安装Scrapy，使用命令创建项目和生成爬虫。还提及提取数据可完善spider并用xpath等方法，保存数据在pipeline中进行。最后给出了创建项目和爬虫的具体命令示例，助你搭建程序爬取数据。
scrapy项目流程
- 创建一个scrapy项目:scrapy startproject XXXX #XXXX指为项目命名
- 生成一个爬虫:scrapy genspider XXXX项目名称 + 项目网址如（www.baidu.com）,只要主域名即可
- 提取数据:完善spider，使用xpath等方法
- 保存数据:pipeline中保存数据
创建scrapy项目
安装scrapy命令：sudo apt-get install scrapy 或者：pip install scrapy
创建scrapy项目的命令：scrapy startproject +<项目名字>
示例：scrapy startproject myspider
创建爬虫
命令：在项目路径下执行:scrapy genspider +<爬虫名字> + <允许爬取的域名>
cd myspider
scrapy genspider XXXX baidu.com
接下来，你就可以自己搭建一个程序爬取数据了！
扫一扫
1840
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
