linux redhat 6.4 下安装Scrapy 1.0

最新推荐文章于 2023-08-22 21:22:25 发布

原创

最新推荐文章于 2023-08-22 21:22:25 发布 · 701 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python 爬虫 scrapy

本文档详细介绍了如何在Redhat 6.4系统中安装Scrapy 1.0。首先，需要安装Python 2.7和setuptools，接着安装Twisted和其依赖zope.interface。然后安装sqlite并重新编译Python，再依次安装w3lib、libxml2、libxslt和lxml。为了支持HTTPS，还需要安装pyOpenSSL的特定版本。最后，通过一系列步骤安装Scrapy 1.0，并进行验证。

redhat 6.4 下安装Scrapy

Scrapy是一个开源的机遇twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。

安装环境:

redhat 6.4
python2.7.3

安装步骤:

1.下载python2.7 http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz

[root@zxy-websgs ~]# wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz -P /opt

[root@zxy-websgs opt]# tar xvf Python-2.7.3.tgz 

[root@zxy-websgs Python-2.7.3]# ./configure 

[root@zxy-websgs Python-2.7.3]# make && make install