scrapy环境搭建（一）-linux

最新推荐文章于 2025-12-19 20:13:51 发布

原创最新推荐文章于 2025-12-19 20:13:51 发布 · 132 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #scrapy #linux #Redhat6.5

scrapy 专栏收录该内容

3 篇文章

订阅专栏

本文提供在Redhat6.5系统中安装Scrapy爬虫框架的详细步骤，包括环境依赖配置、Python版本升级、安装setuptools与pip等必备组件，最后完成Scrapy的安装。

系统环境：Redhat6.5系统

1、添加scrapy环境依赖

yum install -y python-devel libxml2 zlib-devel bzip2-devel xz-libs xz wget git tar gcc gcc-c++ openssl openssl-devel pcre-devel python-devel libevent automake autoconf libtool make git sqlite-devel
2、升级python

Redhat6.5 自带python2.6.6，scrapy最新版基于python2.7，需升级到python2.7.12

可到 https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz 下载

解压并安装

wget https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz
tar -xvf Python-2.7.12.tar
cd Python-2.7.12
./configure --prefix=/usr/local/python2.7.12
make && make install

修改系统默认python为最新安装版本

mv /usr/bin/python /usr/bin/python2.6.6
ln -s /usr/local/python2.7.12/bin/python2.7 /usr/bin/python

使用最新版python可能会导致系统的yum功能出现故障，需恢复yum的python指向

vim /usr/bin/yum  
将
#!/usr/bin/python
修改为
#!/usr/bin/python2.6.6

3、安装setuptools

在 https://pypi.python.org/ 网站上搜索 setuptools 的安装包，本人下载安装的是 setuptools-26.0.0.tar.gz

解压后安装

cd setuptools-26.0.0
python setup.py install

4、安装pip

在 https://pypi.python.org/ 网站上搜索 pip 的安装包，本人下载安装的是 pip-8.1.2.tar.gz

解压后安装

cd pip-8.1.2
python setup.py install

5、设置python的命令直接使用

vim /etc/profile
添加python的路径
export PATH=$HOME/bin:/usr/local/python2.7.12/bin:/usr/local/bin:$PATH

修改完毕后重新加载生效
source /etc/profile

6、安装scrapy

pip install Scrapy

至此scrapy就可以使用了。