前面了解了什么是Scrapy和其工作原理,下面先开始安装Scrapy。
版本说明
本教程使用的Scrapy版本为2.11(目前最新的),需要使用Python3.8版以上的版本,支持CPython或PyPy的实现。
使用Python的pip安装
如果你习惯使用Python自带的pypi进行Python模块的管理,使用下面的命令进行安装即可:
pip install scrapy
使用conda安装
如果你使用的是Anaconda或Miniconda,你可以通过conda-forge进行包的安装和管理,其同时支持Windows、Linux和MacOS。
使用conda安装可使用
conda install -c conda-forge scrapy
须知
不管使用上面哪种方式安装,都有以下几点需要注意:
- 尽量使用虚拟环境进行安装,避免模块间引发冲突
- 尽管Scrapy是纯Python实现的,但仍然依赖了几个Python的包:
- lxml,一个高效的XML 和HTML解析器
- parsel,一个基于lxml模块的HTML/XML数据提取库
- w3lib,一个处理U