安装scrapy过程问题记录

本文介绍在Ubuntu 14.04环境下安装Scrapy及其依赖的过程。解决安装中遇到的错误,如GCC缺失、依赖包不全等问题,并确保Twisted版本符合要求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  虚拟机安装完成后,首先安装pip,然后利用pip安装scarpy

过程过程中,出现error: command 'x86_64-linux-gnu-gcc' failed with exit status 1错误

实际是缺少依赖

在ubuntu14.04版本上安装scrapy(lxml),老是出错,在一番艰辛的搜索之后 ,终于找出了安装的正确方法,其实也就是没有将依赖包装全:

1. 第一 反应是缺少 GCC ,检查没少


2. 后来安装lxml的依赖包,还不行

sudo apt-get install libxml2-dev libxslt1-dev python-dev
sudo apt-get install zlib1g-dev

sudo apt-get install libevent-dev


sudo pip install lxml

3. 还需要ssl相关库,我说在windows上安装咋这么难,linux也费了不少劲儿呢
sudo apt-get install openssl
sudo apt-get install libssl-dev

安装依赖后诚信安装成功

第二部建立scrapy工程出现

'module' object has no attribute 'OP_NO_TLSv1_1错误

你先看看 pip install scrapy需要的 pyopenssl  twisted  等和你安装的版本一样么  我的就是因为TWist 版本高于  需要的

用pip install twisted==13.1.0 才成功 

 

关键就twisted版本,不能太高,用pip install scrapy,里面提示的是多少,就装多高的版本。


成功建立工程,(^-^)V


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值