centos 7 安装 scrapy

最新推荐文章于 2023-10-13 17:49:11 发布

原创最新推荐文章于 2023-10-13 17:49:11 发布 · 337 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#centos 7 #scrapy #安装

本文介绍了如何解决在安装Scrapy过程中遇到的加密错误和alxml错误，并提供了详细的步骤来安装所需的依赖包。此外，还针对运行Scrapy时出现的特定Twisted模块错误，给出了将Twisted版本回退到16.4.1的解决方案。

# Fix a cryptography error
yum install gcc libffi-devel python-devel openssl-devel
# Fix a lxml error
yum install libxslt-devel libxml2-devel libxml2 libxslt

Everything is ready! Install incremental and Scrapy:

pip install incremental
pip install scrapy



运行Scrapy 出现如下错误：
.......
from twisted.internet._sslverify import _setAcceptableProtocols
  File "/usr/lib64/python2.7/site-packages/twisted/internet/_sslverify.py", line 38, in <module>
    TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1,
exceptions.AttributeError: 'module' object has no attribute 'OP_NO_TLSv1_1'

解决办法，把twisted 版本降低：
pip install Twisted==16.4.1