python3环境的scrapy环境的安装

简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的.

我在安装过程中遇到了问题，我的环境是python3.6.3，可能这个新版本没有很好的对scrapy很好的支持，因此安装缺少依赖

python3环境安装

安装scrapy

1、安装pip3 install scrapy提示不支持https，因此猜测可能是因为没有openssl问题，于是安装openssl包，接着重新编译运行python3环境。
2、pip3 install scrapy提示缺少Twisted包
那我们就来安装吧

wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2

tar -jxvf Twisted-17.1.0.tar.bz2

cd Twisted-17.1.0

python3 setup.py install

接着安装pip3 install scrapy即可