使用Scrapy爬虫框架爬取一个页面

参考资料：Python网络爬虫与信息提取（北京理工大学慕课）

---

这个就是我们准备爬取的页面：

使用Scrapy库，首先需要产生一个Scrapy爬虫框架，它分为如下一些步骤：

1.建立一个Scrapy爬虫工程

首先我们打开Pycharm，新建一个Project，这里我新建了一个叫demo的Project：

然后我们打开Pycharm的终端，输入scrapy startproject python123demo：

这样，我们就建立了一个Scrapy爬虫工程：

那么生成的这些东西是什么呢？

部署的概念是指：将建的爬虫放在特定的服务器上，并且在服务器配置好相关的操作接口。