CentOS7安装scrappy

CentOS7安装scrappy

前言：由于CentOS6默认安装的Python2.6对于网络爬虫框架scrappy有诸多不兼容的地方，即使升级至2.7也有许多问题，建议直接使用CentOS7安装。

更新yum

[root@localhost ~]# yum -y update

安装gcc及扩展包

[root@localhost ~]# yum -y install gcc libffi-devel python-devel openssl-devel

安装开发工具包

[root@localhost ~]# yum groupinstall -y development

安装libxslt-devel支持lxml

[root@localhost ~]# yum -y install libxslt-devel

先安装epel添加pip安装源

[root@localhost ~]# yum -y install epel-release

安装pip

[root@localhost ~]# yum -y install python-pip

更新pip(可选)

 pip install --upgrade pip

安装Scrapy

[root@localhost ~]# pip install scrapy

使用从pip的国内镜像中下载低版本twist，最新版本scrappy报错

pip install -i https://pypi.doubanio.com/simple/ twisted==13.1.0 

创建项目，确认安装成功

scrapy startproject tutorial