CentOS 6.5 x64 安装pyspider

最新推荐文章于 2025-09-10 17:59:49 发布

weixin_34234829

最新推荐文章于 2025-09-10 17:59:49 发布

阅读量75

点赞数

CC 4.0 BY-SA版权

文章标签： python 运维 json

原文链接：https://my.oschina.net/2726276586/blog/1540409

本文介绍在CentOS6.5 x64系统上使用Python 2.7.10部署Pyspider爬虫框架的过程。解决因Python版本不匹配导致的问题，并详细说明如何将默认的SQLite数据库更换为MySQL数据库的方法。

2019独角兽企业重金招聘Python工程师标准>>>

系统：CentOS 6.5 x64 Python：python-2.6.6(系统自带)

yum -y install libxml2-devel libxslt-devel
yum -y install libxml libxslt
yum -y install Cython
yum -y install python-devel
pip install -U setuptools
pip install pyspider
pyspider all    #启动

发现问题：

安装完毕，一个服务器是好的，一个服务器无法访问

经大师排查可能是python版本问题然后升级到python-2.7.10就好了

注意：setuptools和pip也需要重新安装

默认是使用SQLite，换成mysql，方式如下

vim mysql.json
{
  "taskdb": "mysql+taskdb://pyspider:PyspideR2017@192.169.100.100:3306/pyspider",
  "projectdb": "mysql+projectdb://pyspider:PyspideR2017@192.169.100.100:3306/pyspider",
  "resultdb": "mysql+resultdb://pyspider:PyspideR2017@192.169.100.100:3306/pyspider",
  "message_queue": "redis://192.169.100.100:6379/db",
  "webui": {
    "username": "goforit",
    "password": "goforit",
    "need-auth": true
  },
  "scheduler" : {
    "xmlrpc-host": "0.0.0.0",
    "delete-time": 3600
  }
}

启动：