
pyspider
文章平均质量分 57
paulluo0739
穿拖鞋写程序
展开
-
windows下python3.7安装pyspider坑记
一、概述 本机已经安装好python3.7,现做测试,需要在开发机上安装pyspider,基于windows下的安装遇到一些坑,特此记录 二、安装步骤 pip install pyspider 此过程一般不会有问题,因为pip会自动安装依赖包,但能不能正常运行起来,它管不了那么多了哦~ 三、开始填坑 1、执行 pyspider all,立马报错: Traceback (most...原创 2020-02-10 22:24:09 · 1757 阅读 · 1 评论 -
pyspider安装过程记录
我是在Centos7.6下安装好python3.6.0后,安装pyspider的,中间遇到了一些坑,在这里记录一下 参考资料 github地址:https://github.com/binux/pyspider 官方文档:http://docs.pyspider.org/en/latest/ 官方安装教程,实际安装过程并不像官方文档那样顺利 看云文档(译文):https://...原创 2019-06-14 10:26:22 · 1462 阅读 · 0 评论 -
centos7.6下源码安装python3.6.0
1、安装相关依赖 yum install -y openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel libffi-devel 2、下载python3.6.0源码包Python-3.6.0.tgz,并解压进入目录 3、安装配置 ./configure --prefix=/us...原创 2019-06-13 19:14:51 · 294 阅读 · 0 评论 -
pyspider添加elasticsearch的支持
背景 根据项目的情况,需要将pyspider采集的结果存入es,便于后续的处理。因此需要做以下工作: 在python中安装elasticsearch库 编写基本的es操作类(库) 加入pyspider的库路径中,便于后续引用 实施步骤 python安装elasticsearch库 pip install elasticsearch 目前默认安装的是7.0.2版本的库,即支持el...原创 2019-06-21 18:29:42 · 351 阅读 · 0 评论 -
pyspider使用mysql作为任务数据库
背景 在上一篇《pyspider安装过程记录》中已经提到,pyspider的默认数据库是SQLite,为了和业务系统相结合,所以需要切换到mysql,以便统一跟踪任务执行过程。 实施步骤 创建相关数据库及用户 mysql> create database taskdb default character set 'utf8'; Query OK, 1 row affected (0....原创 2019-07-02 16:04:47 · 1656 阅读 · 0 评论