Python3下Scrapy环境的搭建

最新推荐文章于 2024-10-22 10:30:53 发布

Top_zhangxu

最新推荐文章于 2024-10-22 10:30:53 发布

阅读量1k

点赞数 2

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/Top_zhangxu/article/details/79864847

版权

爬虫专栏收录该内容

3 篇文章

订阅专栏

本文档介绍了在Python3环境下搭建Scrapy爬虫框架的过程，包括遇到的Twisted依赖问题及解决方案。首先，作者指出Python3是发展趋势，并决定迁移环境。在尝试使用pip安装Scrapy时，遇到Twisted安装错误。通过查看官方文档和解决依赖问题，成功安装了特定版本的Twisted，然后重新安装Scrapy并进行了测试。最后，升级Twisted到15.5以上版本以确保所有功能正常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

升级Python3

之前使用Scrapy开发爬虫都是在Python2的环境下进行，最近有看到有些工具包宣称不再对Python2提供更新和维护，可以看出Python3是发展的趋势。

而早前Scrapy已经支持了Python3这让我意识到必须尽快将我的工作环境迁移到Python3，毕竟习惯是很可怕的一件事。

尝试

环境：
* Win7
* Python3.5.2

依靠直觉我们会利用pip工具直接安装Scrapy:

pip install scrapy

不幸的是得到了一堆错误。

对照官网文档关于Scrapy依赖的描述，使用工具pip list查看我们依赖的安装情况很容易发现Twisted的安装出现了问题。

系统提示我们安装VC++工具包：

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": ht
tp://landinghub.visualstudio.com/visual-cpp-build-tools

但是之前我在2的环境下是可以正常使用Scrapy的，系统环境不会有问题，也许可能存在其他方面的问题。

再回到官方文档发现一些信息：

The minimal versions which Scrapy is tested against are:
    Twisted 14.0
    lxml 3.4
    pyOpenSSL 0.14

这是官方经过测试的依赖的最小版本，既然Twisted安装失败了，那么尝试指定安装Twisted的14.0版本试试看。

pip install Twisted==14.0

安装成功！

Installing collected packages: Twisted
Successfully installed Twisted-14.0.0

解决了依赖问题我们再重新安装Scrapy

pip install scrapy

Installing collected packages: PyDispatcher, pyasn1-modules, service-identity, scrapy
Successfully installed PyDispatcher-2.0.5 pyasn1-modules-0.2.1 scrapy-1.5.0 service-identity-17.0.0

一切顺利，我们输入scrapy指令测试下：

import twisted.persisted.styles  # NOQA
ImportError: No module named 'twisted.persisted'

看来我们的Twisted包版本还是有点低，少了某些功能模块，网上查阅资料是要大于15.5, 执行:

pip install twisted==15.5 --upgrade

升级后重新执行scrapy

(root) C:\>scrapy
Scrapy 1.5.0 - no active project

Usage:
scrapy <command> [options] [args]

Available commands:
bench         Run quick benchmark test
fetch         Fetch a URL using the Scrapy downloader
genspider     Generate new spider using pre-defined templates
runspider     Run a self-contained spider (without creating a project)
settings      Get settings values
shell         Interactive scraping console
startproject  Create new project
version       Print Scrapy version
view          Open URL in browser, as seen by Scrapy

[ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

至此Scrapy安装成功。