linux redhat 6.4 下安装Scrapy 1.0

clearriver

于 2016-04-29 20:29:39 发布

阅读量688

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫 scrapy

本文链接：https://blog.youkuaiyun.com/clearriver/article/details/51284154

本文档详细介绍了如何在Redhat 6.4系统中安装Scrapy 1.0。首先，需要安装Python 2.7和setuptools，接着安装Twisted和其依赖zope.interface。然后安装sqlite并重新编译Python，再依次安装w3lib、libxml2、libxslt和lxml。为了支持HTTPS，还需要安装pyOpenSSL的特定版本。最后，通过一系列步骤安装Scrapy 1.0，并进行验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

redhat 6.4 下安装Scrapy

Scrapy是一个开源的机遇twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。

安装环境:

redhat 6.4
python2.7.3

安装步骤:

1.下载python2.7 http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz

[root@zxy-websgs ~]# wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz -P /opt

[root@zxy-websgs opt]# tar xvf Python-2.7.3.tgz 

[root@zxy-websgs Python-2.7.3]# ./configure 

[root@zxy-websgs Python-2.7.3]# make && make install