pyspider部署以及遇到的问题（on centos7 with python3.5）

最新推荐文章于 2025-09-10 20:45:24 发布

原创

最新推荐文章于 2025-09-10 20:45:24 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #centos #爬虫

本文详细记录了在CentOS7系统上，使用Python3.5版本部署pyspider过程中遇到的问题及解决方案。包括curl安装失败、运行pyspider命令时的编码错误、SSL后端错误以及_importError: No module named '_sqlite3'的问题。通过设置环境变量、重新安装依赖和确保Python正确编译，最终成功部署并能通过浏览器访问pyspider的Web UI。

我是在自己的vps（centos7）上部署的，使用了virtualenv，使用的python版本为3.5.2
注意编译环境一定要装好。
关于centos7安装python3.5，启用virtualenv以及必须的编译环境，请看这里

部署

# 新建虚拟环境并进入
>>>virtualenv -p /usr/bin/python3 ~/envs/testenv
>>>source ~/envs/testenv/bin/activate

# 安装pycurl（安装pyspider时就会自动安装，但是自动安装的在我这儿出错）
>>>export PYCURL_SSL_LIBRARY=nss
>>>pip install pycurl --no-cache-dir

# 安装pyspider
>>>pip install pyspider

# 执行
pyspider

遇到的问题

pip install pyspider 执行后提示curl安装不上

是因为编译环境没有装好，yum安装libcurl-devel即可

安装好pyspider成功，运行pyspider命令时报错

RuntimeError: Click will abort further execution because Python 3 was configured to use ASCII as encoding for the environment.  Either run this under Python 2 or cons