Ubuntu下Scrapy的安装

最新推荐文章于 2021-08-13 22:28:16 发布

KDF5000

最新推荐文章于 2021-08-13 22:28:16 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/kongdefei5000/article/details/47920609

本文介绍了在Ubuntu系统中如何安装Python爬虫框架Scrapy。首先，确认系统已安装Python 3，接着检查pip和setuptools。然后，通过安装libxml2-dev和libxslt1-dev来满足Scrapy的依赖。最后，使用pip安装Scrapy，确保拥有足够权限避免安装错误。安装完成后，通过命令检查Scrapy是否安装成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在学习爬虫，早就听说Python写爬虫极爽（貌似pythoner说python都爽，不过也确实，python的类库非常丰富，不用重复造轮子），还有一个强大的框架Scrapy，于是决定尝试一下。

要想使用Scrapy第一件事，当然是安装Scrapy，尝试了Windows和Ubuntu的安装，本文先讲一下 Ubuntu的安装，比Windows的安装简单太多了。。。抽时间也会详细介绍一下怎么在Windows下进行安装。

官方介绍，在安装Scrapy前需要安装一系列的依赖.
* Python 2.7： Scrapy是Python框架，当然要先安装Python ，不过由于Scrapy暂时只支持 Python2.7，因此首先确保你安装的是Python 2.7
* lxml：大多数Linux发行版自带了lxml
* OpenSSL：除了windows之外的系统都已经提供
* Python Package: pip and setuptools. 由于现在pip依赖setuptools,所以安装pip会自动安装setuptools